Meow's NetworkSec - Network Evolution and SDN 网络演进与SDN入门
Network Evolution and SDN
只要网络硬件可以集中式软件管理,可编程化,控制转发层面分开,则可以认为这个网络是一个SDN网络。
Evolution of network devices
网络诞生之前:pc 单机运行,没有网卡,网线,协议栈,数据通过软盘,光盘…
- 网络通信三要素:
【IP地址+端口号+传输协议】三要素,是网络中通信必不可少的角色。IP地址: 即确定和哪台主机通信端口: 分为物理端口和逻辑端口- 物理端口主要是网卡口(路由器、交换机等)
- 逻辑端口是指确定进程(应用程序)
传输协议: TCP/UDP
- 网络组成三要素:网线+网卡+协议栈 最小单元网络
- 中继器 repeater 出现
- 集线器 hub 来了
- 怕骚扰,网桥 bridge 来了
- 不够快,交换机 switch 来了
- 不够远,路由器 来了:
- 布线麻烦,无线AC/AP(Access point)来了:
- 可以看成带
有无线功能的交换机/路由器,能将有线信号转换成无线的设备都可以叫无线AP。指802.11协议的无线AP,即大家耳熟能详的WIFI。 - 根据部署方式不同,分为胖AP和瘦AP。
AC(Wireless Access Point Controller)统一管理的就是瘦AP,- 瘦AP中,无线AP仅具备无线信号发射的功能,所有命令调试全部集中在后台的AC/无线控制器中。
- 其余都是胖AP。
- 胖AP方案中,无线AP有独立的操作系统,独立调试无线热点所有配置。
- 小型无线网络(家用、小型企业)采用胖AP,大型无线网络(无线城市、无线校园网)采用瘦AP方案(AP+AC)


- 无线设计思路
- 有线无线一体化:共用汇聚交换机(最常见)
- 无线独立组网:有线无线两张网(医疗)
- 无线四件套:
- AC:漫游、认证、安全控制
- AP:将有线转换成无线
- POE:供电交换机或POE模块
- 网管:网络管理,射频管理
- 可以看成带
- 不够安全,防火墙(Firewall 来了:
- 网络安全产品,对于网络进行安全访问限制,一般用于互联网边缘防黑客攻击
- 根据防火墙的技术特征,分为:包过滤、应用代理、状态检测防火墙。
- 根据产品形态:软件和硬件防火墙。
- 防火墙类似有安全功能的路由器,早期firewalls就是在路由器+访问控制功能,多亿防火墙的很多功能可以在router上看到,比如路由协议,访问控制列表,地址翻转技术等。
- But we need both router and firewalls:
- 网络边界的router可以替代成firewalls,但是在网络里可以同时存在
- 路由器侧重
地址翻转和路由策略 - 防火墙侧重
安全隔离
- 在firewall基础上:后面又延伸出了web防火墙,安全网关,入侵检测防御等产品
- But we need both router and firewalls:
- 一般中小型单位 互联网出口使用防火墙或者只使用路由器,功能多且便宜
- 特定行业内网出口 必须用路由器,政策要求和业务需要,如公安/法院/金融等
- 大型网络防火墙和路由器分开,如果都用防火墙,性能可能扛不住
- 路由器和防火墙两者都存在的情况下,一般都是路由器在最外层,防火墙一般会旁挂服务器,即DMZ区域,采用第一种架构,服务器在私网IP域,相对安全。黑客攻击首先需要穿透路由器的NAT,还需绕过防火墙的检测。

- 网络拥挤,流量控制 来了:
网络架构案例 Network architecture examples
- 家庭SOHO网络
- 小型创业公司

- 说明:小型企业架构,两层架构,单核心拓扑
- 设备:路由器、交换机、服务器
- 技术:VLAN、TRUNK、DHCP、WLAN、静态路由/OSPF、PPPOE、NAT、ACL等

- 说明:总部属于中型企业架构,分部属于小型企业架构
- 设备:
- 总部:路由器、交换机、防火墙、瘦AP(无线AC+AP)、服务器
- 分布:路由器、交换机
- 技术:
- 总部:VLAN、MSTP、VRRP、WIFI、NAT、VPN、TRUNK、DHCP、ACL等
- 分部:VLAN、VPN、WIFI
- 解决思路:
- 使用子网划分:对每个部门进行规划 (各部门单独一个24位的子网断,保证连续性,即使后续有新增加的员工,24位有254个地址,可以保证能正常使用,并且连续性可以方便做汇总、与一些策略的控制)。
- 冗余性的实现,可以利用MSTP+VRRP技术实现链路的冗余性与网关的热备功能,并且核心之间链路起链路聚合,提高带宽。
- 安全性的实施,可以利用ACL与端口隔离技术 来进行部署,当然也可以高级点,dot1x、DHCP snooping+DAI+IPSGD等技术。(一般ACL与端口隔离技术即可,除非有特殊需求在使用后续的)。
- 使用AC+AP的三层旁挂架构组件无线网络,实现内部网络使用5G接入网络,而访问则使用2.4G频率,并且实现,访客只能访问公司提供的WEB页面与Internet访问,并且要求无线访客区之间实现隔离。
- 利用浮动路由+NQA或者ip-link技术实现自动切换
- 使用IPSEC技术实现总部与分部之间的互访,通过加密验证等机制来保证数据的安全性
- 部署L2TP Over IPSEC实现出差员工能够拨入到内网,访问特定的资源。
- 开启Telnet或者SSH功能,实现访问,并且用ACL限制只能特点的主机访问。
- 园区网络:
- 政务网
- 数据中心网


- 说明:典型的大二层数据中心网络/IDC设计,主要分为
租户区(服务集群)、互联网区、安全管理区。- 其中
租户区采用设备虚拟化和链路虚拟化技术,将设备处理能力和链路承载能力提高,并且在服务器区域放置负载均衡器,将流量合理有效分配到固定的服务器上。 - 互联网出口区采用路由器执行BGP和地址翻译,采用IPS/防DDOS设备放置大流量泛洪攻击,采用流控执行出口负载、采用防火墙进行安全隔离。
- 安全管理区通过防火墙进行安全接入,通过审计、日志、入侵检测、网管等产品进行全网安全管理。
- 其中
- 设备:路由器、交换机、负载均衡器、防火墙、入侵检测/入侵防御、网络审计、防DDOS、服务器
- 技术:VLAN、TRUNK、vPC、IRF、LISP、Vxlan、TRILL、FabriPath、BGP、MPLS、Security、SNMP
- 互联网公司(百度、阿里、腾讯)、IDC/云计算服务器商等常见网络架构。
- 电信网/互联网是这样的
为什么需要 SDN Why SDN
有哪些厂商在生产网络设备?
- 简单来说,网络行业的厂商可以分为三大类:
- 综合厂商/全栈厂商
- 能够提供从交换机、路由器、防火墙、无线等全系列产品并提供整体解决方案,例如思科、华为、Juniper、H3C等。
- 安全厂商
- 专门对外提供防火墙、入侵检测/入侵防御、安全网关、漏洞扫描、防病毒等产品,例如Checkpoint、启明星辰、绿盟科技、天融信、山石网科等
- 流控厂商
- 主要有 Radware、Array Network、深信服、网康等。
- 综合厂商/全栈厂商
如何对网络设备进行操作?
- 不同厂商生产的网络设备,需要通过不同的方式进行调试和配置,一般通过命令行和Web界面管理。各个公司有自己独立的网络操作系统,命令行和Web界面都是不同的。
- 虽然命令行调试界面不同,但是底层遵循的网络协议是相同的,所以设备之间互操作是没有问题的。
- 正是因为这一点,客户进行网络设备采购时,可以根据自身情况,产品价格、性能、需求等来选择合适的技术方案。
- 常见的网络中,很有可能有非常多的厂商设备混合,对于网络部署和管理是一个非常大的挑战。
如何管理这么多网络设备?
网管服务器是目前主流的网络管理方案,网络设备(路由器、交换机、防火墙)和网管系统(例如H3C iMC、Huawei eSight)部署SNMP协议,通过网管系统可以对全网进行可视化拓扑发现、配置管理、链路质量检测等。- 网管系统
是企业网络运维必不可少的组件,一般部署在
服务区或者安全管理区域。 - SNMP协议
即简单网络管理协议,更多侧重于
对网络设备进行监控,而不是和部署,也就是说,如果网络出现故障,通过网管系统告警了解情况,然后通过远程登录或者到IDC机房对设备进行命令调试和故障排除。
问题一:传统网络管理和部署非常麻烦
网络设备之间如何协同工作?
- 网络设备之间的沟通主要通过网络协议(交换、路由、标签、安全等协议)来实现,
- 例如OSPF/BGP/MPLS/MSTP等等
- 大体的工作流程都是依据:「邻居建立-信息共享-路径选择」三个步骤来实现,这是很多协议设计的逻辑基础。
- 大部分的网络采用典型的分布式架构,设备和设备之间以“接力棒”方式交互本地的信息,然后建立数据库信息,再根据选路算法进行最优路径选择,最具代表性的算法便是SPF算法。
- 每个设备会进行独立的计算,有独立的“大脑”和独立的转发硬件。
- 协议是互联网的基础,相当于人类沟通的语言。
如果网络发生变动?如何进行交互
- 当网络发生动荡时,网络设备会将故障信息以“接力棒”的方式不断告知下邻居设备,然后将故障路径信息删除。
- 网络收敛过程中,有可能出现冗余的路径通告信息。
当流量暴涨拓扑膨胀时
- 随着云计算、大数据、移动互联等技术发展,流量不断翻番,使得底层网络的体积膨胀,压力增大;网络体积越大,需要收敛的时间越长。等
- 在所有的网络类型中,数据中心网(互联网公司)、电信网(运营商)的网络压力最大,需要变革的意愿最强。
问题二:分布式网络架构瓶颈凸显
网络带宽分配如何解决?
转录 Transcription (read from the image by Claude, may contain errors)
- 流量控制一般采用QoS/TE等技术来实现
- 流控技术可以在支持QoS/TE的交换机、路由器等产品上执行,也可以在专业的流控产品(负载均衡器)上实现。
- 不管是软件还是硬件实现流控,传统的流控产品大体是一种静态带宽处理
- 通过为流量分类和标记,定义不同的优先级别
- 据业务需求,制定特定规则,分配不同的带宽, 走特定的链路等等
- 策略一般是前期固定好的,无法根据网络情况,智能的实现带宽分配。
- 流控的好坏直接影响带宽利用率,影响客户的投资效益。
流量可视化难:
转录 Transcription (read from the image by Claude, may contain errors)
- 常规流控产品只能实现
部分链路带宽分配可视化 常规网管系统只能实现
链路状态故障检测等,无法实现全网全局链路带宽可视化。- 全网流量可视化是带宽智能调配的基础。
问题三:流量控制是棘手难题
能否自定义设备的转发策略:
- 传统的网络设备,工作方式一般都是固定好的
- 例如交换机根据MAC地址表转发(基于源MAC学习,基于目的MAC转发)
- 路由器根据路由表转发(修改源目MAC,源目IP不修改,基于目的IP查表)。
- 按照业务需求进行网络设备的策略自定义,实际上便是一个可编程的需求,统网络设备是一个黑盒子,内部源码、产品功能对用户封闭,话语权在网络厂商这边。
能否将这个软件运行在设备上:
- 不可编程,无法按需,是网络设备几十年来的老规矩!
问题四:无法按需,不可编程
SDN
SDN是什么? 学术界
2007年,斯坦福大学博士生Martin Casado 领导了一个关于网络安全与管理的项目Ethane,该项目试图通过一个
集中式的控制器,让网络管理员可以方便地定义基于网络流的安全控制策略,并将这些安全策略应用到各种网络设备中,从而实现对整个网络通讯的安全控制。2008年,基于Ethane 及其前续项目Sane的启发, Nick McKeown教授等人提出了 OpenFlow 的概念,并于当年在ACM SIGCOMM 发表了题为《OpenFlow: Enabling Innovation in Campus Networks》的论文,首次详细地介绍了OpenFlow 的概念。
上图中,交换机没有独立的“大脑”,仅具备转发功能,所有的路径计算、安全策略等等全部在控制器(Controller)上执行,然后通过Openflow协议下发给交换机,交换机根据流表(Flow table)进行转发。
Ethane这种网络架构跟传统的网络架构相比,最大的特点便是:控制和转发完全分离!控制层实现集中式控制、软件可编程、可视化、自动化等等,转发层通过硬件实现高速转发。
全球第一台路由器由斯坦福大学的莱昂纳德·波萨克和桑蒂·勒纳这对教师夫妇创造的,用于斯坦福大学校园网络(SUNet),而全球网络行业的领头羊思科便是这对夫妇创立的(1984年)。
巧合的是,20多年后(2006年),同样来自斯坦福的学生Martin Casado和ick McKeown开创并奠定了Openflow/SDN基础,实现跨世纪的接力棒,为互联网技术注入未来!
SDN是什么?商业界,一马当先的Google,标杆案例B4网络
- Google B4网络
是谷歌的数据中心网络,用于存储和备用用户数据。
B4网络由不同的数据中心站点组成,采用非常多的WAN链路互联。由于WAN光纤成本昂高,数据中心的链路利用率不高(30%-40%),谷歌需要通过引入软件实现流量可视化和路径可操作等需求,提高WAN链路利用率。
- Google B4网络是目前最知名影响最广泛的SDN商用案例,可以说是目前SDN浪潮中的标杆案例。
- 此网络架构充分利用了SDN的核心思想,引入Openflow交换机,采用分布式的Controller架构,而且应用在流量密集环境复杂的数据中心,最终将链路利用率提高到接近100%!
- Quagga是开源的路由协议栈,用于运行ISIS/BGP路由协议。
- RAP(Routing Application Proxy)是路由应用代理程序,作为交换机到Quagga的代理,
- 例如
Openflow交换机将链路状态信息发给Controller之后,- Controller会调用RAP将信息转发给Quagga协议栈处理。
- Paxos是一个选举器,用于选择Controller集群中,哪个主哪个备。
- TE Agent用于收集数据中心的链路/带宽信息等,然后将其交给顶层的Gateway,Gateway进行汇总再交给TE Server计算路径等。
- TE Server计算好路径和带宽分配信息之后,也会返回给Gateway,由Gateway下发给Cller,再由Controller下发给Opflow交换机,
- 即
TE Server-->Gateway-->Controller-->Switch。
SDN是什么?运营商NFV/ETSI
NFV(network function virtualization)即网络功能虚拟化,核心思想是将网络硬件设备通过虚拟化技术,集成到通用的服务器或其他硬件平台上,然后在通用标准的硬件平台上,执行路由器、交换机、负载均衡、防火墙、入侵防御等功能。说白了,就是将分散的网络硬件产品集成到一个“大盒子”里面,然后每种产品相当于一个插件来使用。
NFV与SDN虽然是由不同的组织来引导发展,但是基本诉求是一致的:将网络架构软件化/虚拟化,统一部署管理,可以为客户节省大量成本。
SDN Software Defined Network
转录 Transcription (read from the image by Claude, may contain errors)
| Software Defined Network | SDN网络 VS 传统网络 |
|---|---|
| 控制转发分离 | 控制转发耦合 |
| 集中式控制 | 分布式控制 |
| 可编程 | 不可编程 |
| 开放接口 | 不开放 |
SDN(Software Defined Network)软件定义网络
- 一种网络设计理念, 一种推倒重来的设计思想。
- 只要网络硬件可以集中式软件管理,可编程化,控制转发层面分开,则可以认为这个网络是一个SDN网络。
SDN并不是一个具体的技术,不是一个具体的协议,而是一个思想、一个框架。
狭义的SDN是指的“软件定义网络”,广义的SDN的概念还延伸出了:软件定义安全、软件定义存储等等。可以说,SDN是一个浪潮,席卷整个IT产业。
- SDN框架主要由
应用层、控制层、转发层(基础设施层)组成- 应用层
提供应用和服务(网管、安全、流控等)
- 控制层
提供统一管理和控制(协议计算、策略下发、链路信息收集)
- 转发层
提供硬件设备(交换机、路由器、防火墙等)进行数据转发。
- 应用层
哪些组织在推动SDN发展?
ONF(Open Networking Foundation)即开放网络联盟,于2011年成立,是最早的SDN组织,创始成员主要是Google、Facebook、微软、雅虎等互联网成员(后期加入了腾讯、华为、中兴、中国移动等),旨在推动SDN的标准化(ONF Plugfest),制定并发布Openflow技术标准。
ODL(OpenDayLight)成立于2013年4月,由思科携手IBM、Juniper、BigSwitch、Broadcade、Redhat、VMware、NEC、Arista、惠普、英特尔、Citrix、Ericsson等发起,成员主要是网络厂商。ODL主要是为了打造一个开源的SDN平台框架,包括网络应用和服务、北向接口、控制器、南向接口等等,更简单一点,就是提供开源的网络操作系统,目前最核心的是做了行业默认标准的OpenDayLight控制器(SDN系统)。
ONOS(Open Network Operating System)即开发网络操作系统,于2014年11月成立,创始成员主要包括ON.LAB、AT&T、NTT、华为、爱立信、富士通、NEC、Ciena、Intel,成员主要来自运营商,旨在为运营商用户提供一个开源网络控制器。目前核心工作是做出了面向运营商的ONOS控制器(SDN系统),与ODL控制器直面竞争。
NFV(Network Function Virtualization)即网络功能虚拟化,成立于2012年10月,由AT&T、英国电信、德国电信、中国移动等成员提出,成员主要来自运营商,该组织所属欧洲电信标准协SI,致力于设备虚拟化,提运营能力减低运维成本等。
SDN网络交互方式变革
- 传统的手工作坊式的网管方式会慢慢被软件的方式代替,更好的满足自动化运维需求。
- 手工的命令配置不会被完全消除,很多初始化和自动化没法解决的问题,还要人为干预。只不过遵循一个规则:能软则软,能自动化则自动化!
产业链分析(玩家图谱)
- 设备用户:主要倡导并推动SDN发展的创始玩家,是用户而不是网络厂商。因为互联网公司(谷歌、Facebook)、运营商(AT&T、NTT)等网络的压力最大(数据中心网、互联网),最渴求变革。
互联网公司/运营商
网络厂商:分为老牌网络厂商(思科、Juniper、华为、H3C、F5、Radware)和新网络厂商(Big Switch、Nicira)。老牌网络厂商一直对网络行业有着不可撼动的技术和市场能力,对SDN发展原来持观望和被动状态,但是目前已经成为各个SDN组织最活跃的机构,他们通过将自有的产品加入SDN支持,提供混合和全部的SDN产品,依靠原有的渠道,牢牢掌握原有的市场份额。新网络厂商希望SDN大力发展起来,给自己多一些机会,通过自身革命性的解决方案,提供物美价廉的技术方案来争夺老牌网络厂商的蛋糕。
软件厂商:加入SDN主战场的软件厂商主要有Vmware、Citrix、Redhat等,本来SDN跟他们没什么关系,但是网络虚拟化的快速发展,跟原有他们的服务器虚拟化等技术撞上了,所以他们希望SDN和NFV大力发展,最好将网络硬件通通软件化,然后将网络集成进入自己的服务器,再通过原有的虚拟化技术进理。2012年,Vmware 12亿元收购Nicira(创始人是Openflow之父Martin Casado)正式与思科在SDN网络战场竞争。
学习SDN的最佳姿势
Step1:既然SDN是网络技术的前言,那学习SDN必须要懂传统的网络知识.
- 协议栈
:ARP、IP、ICMP、UDP、TCP、DHCP、DNS等
- 路由技术
:OSPF、ISIS、BGP、IPv6、Multicast等
- 交换技术
:VLAN、Trunk、Ethechannel、VRRP等
- 标签技术
:MPLS、MPLS L2VPN、MPLS L3 VPN、MPLS TE等
- 流控技术
:QoS(分类标记、队列机制、拥塞避免、监管整形)
- 安全技术
:IPsec VPN、SSL VPN、Firewall、IDS/IPS
建议学习以上内容的时候,参考思科、华为等网络厂商的认证课程(CCNA/HCNA等),按照基础到进阶到高级一点点知识累积起来。
Step2:需要懂一门编程语言,经典的C或者C++,还是Java或Python.
- 目前大部分的控制器都是Java和Python写的;对于网络工程师出身的,如果是编程新手,直接从Python入手,如果是码农,对于各种编程语言都比较熟悉,那直接忽略本步骤,回到 Step1。
Step3:开始啃各种OpenFlow白皮书,阅读OpenFlow行业大会的PPT和资料(靠谱的技术方案,靠谱的商用案例).
- OpenFlow的白皮书可以直接到官网下载,根据版本迭代从1.0到目前的1.5版本,最好通读一遍英文版,然后再搜集国内的一些中文翻译版。
- OpenFlow的行业大会无非就是ONF/ONS、OpenDayLight、ONOS等,技术大会是整个行业的方向标,有利于判断现阶段SDN走到什么阶段,有什么比较好的商用案例借鉴,是否有新的产品更新等等。
Step4:搭建SDN学习环境,开始上手折腾起来.
- 常用的SDN虚拟系统/控制器,例如Mininet、OpenDayLight、ONOS等。
- 通过这些工具搭建出SDN网络,然后通过Wireshark工具来进行OpenFlow协议分析,通过编程语言如Python编写基础用,并进行测试。(前期可以研读一些开源的SDN代码,再慢慢根据自己的业务需求来进行定制)










































Comments powered by Disqus.