xml地图|网站地图|网站标签 [设为首页] [加入收藏]

LinkedIn数据中心的100G技术改革,开源其数据中心

图片 1

图片 2

LinkedIn 近期开源了一个元数据中心工具 WhereHows,已经在LinkedIn内部长期使用。WhereHows 方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。

原文:The LinkedIn Data Center 100G Transformation

著名社交网站LinkedIn的Java架构技术,在JavaOne大会上,LinkIn开发者做了介绍,并有PPT下载,现在有更详细的架构图下载,LinkIn开发者透露LinkedIn 99%都是用java写的,除了缓存通过C++实现。下面是详细架构图:

强烈推荐:著名社交网站LinkedIn的Java架构技术在JavaOne 2008的会议上,著名社交网站LinkedIn的开发者做了2个关于LinkedIn

WhereHows 是 LinkedIn 构建的数据发现和 大数据 宗系工具,集成了所有主要的数据处理系统,可以进行目录收集和元数据操作。

译者:杰微刊兼职翻译缪晨

网站的架构技术的演讲,目前这两个演讲的PPT已经可以下载了。下载地址如下:

WhereHows 遵循 Apache 2.0 开源授权协议,提供在 GitHub:

LinkedIn的持续发展使得我们必须在未来的3-5年间将我们的数据中心发展到一个宏大的规模。Altair项目是我们创建大规模可扩容数据中心的途径。新的LinkedIn数据中心正在Oregon建设中,内部称作LOR1,这将是我们构建的第一个大容量数据中心架构,这将引领我们将服务器的级别从万级走向十万级。这个数据中心的新型网络架构可以支持根据需要扩充服务器数量,而且利用10/25/50/100的技术阶梯来支持使用不同网络连接的混合多层的服务。

LinkedIn - A Professional Social Network Built with Java™ Technologies and Agile PracticesLinkedIn Communication Architecture

https://github.com/linkedin/WhereHows

在这篇博客中,我们将阐述我们是如何利用100G技术构建高度可扩容且成本高效软件的,这将引领我们的系统进入下一代的数据中心。

需要注册才可以下载,能下载PDF版本。可以看一下LinkedIn网站的基本情况:1。2千2百万用户2。每个月4百万独立用户访问3。每天4千万page view4。每天2百万搜索流量5。每天25万邀请发送6。每天1百万的回答提交7。每天2百万的email消息发送这是一个世界顶尖级别流量的网站了,看看LinkedIn的系统架构: * 操作系统:Solaris (running on Sun x86 platform and Sparc) * 应用服务器:Tomcat and Jetty as application servers * 数据库:Oracle and MySQL as DBs * 没有ORM,直接用JDBC No ORM (such as Hibernate); they use straight JDBC * 用ActiveMQ在发送JMS. (It’s partitioned by type of messages. Backed by MySQL.) * 用lucene做搜索Lucene as a foundation for search * Spring做逻辑架构Spring as glue下面是随着流量增加,LinkedIn的架构演化:2003-20051。一个整体的web程序,2。一个核心数据库,3。在Cloud中缓存所有network图,Cloud是用来做缓存的独立server。4。用lucene做搜索,也跑在Cloud中。2006年1。复制另外一个数据库,减少直接load核心数据库,另外一个server来管理非只读数据库的数据更新。2。把搜索从Cloud中移出来,单独一个server跑搜索3。增加Databus数据总线来更新数据,这是通过分布式更新的核心组件,任何组件都需要Databus2008年1。WebApp不再任何事情都它自己做,把业务逻辑分成很多部分,通过server群来做。WebApp仍然提供用户界面给用户,但是,通过server群来管理用户资料,小组等等。2。每个服务有自己的域数据库3。新的架构允许其他应用链接LinkedIn,比如增加的招聘和广告业务。The Cloud1。Cloud是整个架构最重要的部分,整个LinkedIn的网络图都缓存在Cloud里面2。Cloud大小:22M nodes, 120M edges3。需要12GB RAM4。在生产环境要跑40个实例5。从硬盘重建Cloud一个实例需要8个小时6。Cloud通过databus实时更新7。关闭时持久化到硬盘8。缓存通过C++实现,用JNI调用,LinkedIn选择C++而不是Java有两个原因: 1)尽可能的减少RAM的使用 2)垃圾收集暂停会杀死整个系统,LinkedIn用了最新的GC程序,也就是就是说java的的垃圾搜集性能不太好9。将所有东西放在缓存里面是一种限制,但是LinkedIn指出,分割业务图将更麻烦10。Sun提供了2TB的RAMCommunication Architecture交流架构包括:Communication ServiceCommunication Service是用来提供永久信息的,比如收件箱里面的消息和email1。整个系统通过JMS异步通讯2。客户端用JMS发送消息3。消息通过路径服务器来到达相应的邮箱或者直接放到email进程中4。消息发送:同时使用Pull主动寻求信息(如用户需要信息)和Push发送信息(如发email)5。使用Spring和LinkedIn专业Spring插件完成,使用HTTP-RPCScaling Techniques1。通过功能来划分:发送,接受,文档等。2。通过类别来划分:用户信箱,访问者信箱等3。等级划分:用户ID等级,Email等级等4。所有的操作都是异步的。

WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。在当前,LinkedIn 的 WhereHows 存储的数据: 50,000 数据集,14,000 评论和 3500 万作业执行。

LOR1数据中心的网络网络是基于一个4面5阶段的Clos网络构建,我们决定只使用1RU 的机柜构建整个数据中心的网路,以支持6位数起的服务器。

推荐阅读:LinkedIn架构图:99%都是用Java写的

LinkedIn 是 Hadoop 的用户,但也支持其他系统,比如 Oracle 数据库,Informatica 等等。

LinkedIn的四个数据中心都是基于pod配置构建的,一共64个pod,每个pod有数千台服务器,由于pod之间独立构建并且可以优化本地流量,为扩容及过渡到大型数据中心环境需要,我们创建了一个扁平网络使用固定的端对端延时和过载率。我们网络的一些特色如下:

WhereHows 提供给开发者两种访问方式:API(数据处理)和 Web 接口(数据发现和社区协作),允许员工查看一个数据集的宗系,进行注释或者其他操作。

1.骨干网络无过载

原文地址:http://osp.io/archives/1571

2.端对端过载超过6:1

WhereHows 详细文档请看:https://github.com/linkedin/WhereHows/wiki/Architecture

3.解决端到端延迟 – 所有的交换机都是单芯单跳的

4.只使用1RU的交换机柜

5.整个数据中心使用同样的交换

6.基于上述过载的六位数服务器容量

7.网络容量与服务数实现三级上载

8.易于管理,易于扩容

9.简单!

下图从多个层面展示了LOR1的分片架构

图片 3图片 4

注意: 上图反映了大概LOR1架构中大约10万服务器的实现,并不实际反映出LOR1中服务器的数量。

为了适配100G技术,我们发现自己处于一种困境当中。一方面,在一线使用的时候有很多好处,比如容量、特征、规模等;另一方面,费用是一个问题。在LinkIn我们成功打破了这个矛盾。我们利用 PSM4技术解决了这个问题。我们使用100GPSM技术并按50G划分配置。这使我们可以从最新的交换技术中获利,光连接的价格是使用40G光纤互联的一半。

关注单端口的成本,40G光模块如LR4-Light与PSM4模块成本相当。但是每个PSM4模块却可以传输两个节点而且还比LR4-Light多25%的带宽。

从大的角度上讲数据中心(即使一个较小的尺度),对于投资者的资本支出可以节省数百万美元,而且更快更好。出于保密原因,我们不能分享具体的支出数据,但是我希望大家都根据自己的环境计算下到底能省多少钱。

这个解决方案的唯一挑战是在一个物理端口上分享两个逻辑端口,称作四通道SFP 接口。以工业上大容量交换机的观点来看,我们有足够的端口来处理这个问题,但是我们需要光模块供应商给我们提供50G的模块,PSM2或者CWDM2。这将是任何数据中心从10/40G网络迁移到10/25/50/100G网络的理想方式,并且将带领整个产业进入下一个层次。我想号召一下,如果你有志于50G技术的开发,让我们一起把它变为现实吧。

在LinkedIn,我们计划继续驱动光网络技术在一线的应用,以及未来数据中心的连接技术。我们期待200G技术和一个8通道版的QSFP,这样就能解决QSFP的缺点,也能突破200G/400G成本高效网络技术。我们也将继续支持和激活数据中心各个维度的创新,从网络和连接到服务和存储。

我们构建了一个以100G为基线技术的高可扩展且成本高效的数据中心技术,主要利用将100G分为两个50G的思路。我们将继续努力建设最好的数据中心,来保证LinkedIn未来数年的应用和服务创新。

本文由必威发布于Web前端,转载请注明出处:LinkedIn数据中心的100G技术改革,开源其数据中心