导航↓ 相册|收藏博客|加入友情链接|给博主留言
畅享博客 > 铁歌的IT经理新世界 Tie's IT manager new world > 9.DBA > [原创]Flash存储设备在电商的应用浅谈
2013/3/18 16:16:16

[原创]Flash存储设备在电商的应用浅谈

 

Flash存储设备在电商的应用浅谈

1. 电商业务对存储架构的需求

    众所周知,时下以淘宝网、京东商城为代表的B2C电子商务网站(以下简称电商)和以阿里巴巴为代表的B2B电商网站发展势头迅猛,如日中天,去年的双十一电商销售额创出历史新高,为世人恻目。而一些传统零售企业在“电商”的压力下,开始向电商转型比如苏宁电器。

     淘宝网的销售神话,离不开IT技术架构的支撑,淘宝的IT技术团队正式打造出了符合淘宝网的可伸缩的高可用的网站系统架构,其技术架构运维团队因而得到业界的赞扬。那么,作为数据存储体系架构,显示是网络系统架构的一个重要部分,电商会具有哪些需求呢?

     大型电商业务运营特点:

Ø         7*24小时不间断运维;

Ø         高峰值的流量以以亿计算;

Ø         大数据

前端订单、商品和用户交易信息;后端的仓库采购物流信息,管理方面的BI数据分析,EDM电子邮件营销等。这些数据均是TB甚至PB级别的。并且日增长量数量级较大。

相当于大型电商业务,其对IT技术架构包括储存架构提出了需求:

Ø         高并发:

前端无应用状态、应用拆分、数据拆分、缓存技术均用以提升并发数量。

Ø         高性能

缓存技术、高性能的软件和硬件技术(通常存储是硬件瓶颈,闪存技术正逢其用)达成交易。

Ø         大数据:

数据库方面,前端(订单、商品、用户、交易、搜索)和后端(仓库、采购、物流)数据库读写分离,做到primarystandby分离,standby可以承担读库任务,减轻主库交易的压力。

Ø         高可用性

生产环境普遍采用故障转移集群、数据镜像技术。

    

2. 传统的网络存储技术

在海量存储领域。传统技术有:DASDirect attached storage,直连附加网络),NASNetwork attached storage,网络附加网络),SAN(存储区域网络)iSCSI (Internet small computer system interface ,internet小型计算机系统接口技术),其中,iSCSI技术以成本低和效率较高被中小企业所青睐。

如表1-1对比了传统技术的特点和应用情况。

 

类型

简介

特点

应用

DAS

存储设备通过电缆或光缆直接连接到服务器,I/O请求直接发送到存储设备,DAS依靠服务器进行工作,本身只是硬件堆叠,不带任何操作系统。

实现大容量存储;

将多个磁盘合并成一个逻辑磁盘;

实现应用数据和操作系统的分离;

提高存取性能;

实施简单,无需专业人员维护。

一般数据库应用和应用服务器都需要连接到存储器上;

存储系统必须直接链接到应用服务器上时;

服务器在地理上较为分散。

NAS

NAS拥有自己的CPU和文件系统,可直接连入网络。

通过网络连接的冗余磁盘阵列,具有磁盘阵列的特征,高容量、高性能和高可靠性,由于其专用性强,目前采用已较少。

即插即用产品;

放置灵活;

采用简化的操作;系统,整个系统管理和设置简单;

文件服务器;

服务器存储空间。借助NAS替代本地的硬盘,可解决磁盘空间不足的问题,实现FTP服务,视频服务等;

服务器负载平衡。

SAN

基于LAN,通过光纤集线器、光纤路由器和交换机等构成光纤通道网络,提供将磁盘阵列与服务器连接起来的高速子网。

SAN具有无限扩展能力;

具有相比更高的连接速度和处理能力,NAS通过传统网络连接,SAN则是光纤通道技术,性能好,成本高,大企业选择;

通过光纤实现连接,设备价格昂贵,TCO较高。

 

关键任务数据库应用;

集中的存储备份;

高可用性和故障迁移;

可扩展的存储虚拟化。

 

iSCSI

IP协议将存储设备连接在一起,SAN技术的一个分支。

提供快速网络环境,性能和宽带与光纤网络有差距,可节省企业30%成本。

应用于视频监控系统、IPTV、数据备份系统、大容量文件存储系统和对IOPS(每秒读写次数,I/O Per second)和宽带性能要求不是很高的数据库存储系统。

1-1 传统存储技术对比

 

3. PCle flash存储设备在电商中的应用

3.1 PCIe接口的优点

PCI-Express是最新的总线和接口标准,它原来的名称为“3GIO”,是由英特尔提出的,很明显英特尔的意思是它代表着下一代I/O接口标准。交由PCI-SIGPCI特殊兴趣组织)认证发布后才改名为“PCI-Express”,简称“PCI-E”。这个新标准将全面取代现行的PCIAGP,最终实现总线标准的统一。它的主要优势就是数据传输速率高,目前最高的16X2.0版本可达到10GB/s,而且还有相当大的发展潜力。

 

PCIe闪存称为存储内存,但它本质上却是一种速度极快的直接存取存储技术。没有人会在意我们是否用一个全新的名词来称呼它。 重要的是:它可以让服务器中的应用程序更快速地存取数据。

磁盘的数据存取带宽为250IOPS左右,闪存的带宽可以达到数十万IOPS 这也就是说,在读写性能方面,闪存DAS完胜磁盘。

3.2 闪存技术适用环境

IOPS要求高,离散式读多写多,延迟低。

3.3 电商应用案例

根据上面的特点,交易、图片和CDN都是适合闪存技术应用的地方。

Ø         购物车主库

Ø         购物车读库

Ø         图片库

Ø         CDN Content Delivery Network,即内容分发网络。)

3.4 应用效果

对比传统HDDSDDPICe的技术,读写性能均大幅提升,表现在网站性能上,用户的使用体验和查询和下达订单的性能都显著提升。

如图1-2离散读性能如下图所示。

 

    

 

如图1-2离散读性能

如图1-2离散写性能如下图所示。

如图1-3离散写性能

 

3.5 改进方向

Ø         安全性

Ø         对开发的影响

Ø         改进使用寿命的算法

Ø         延迟和写入抖动的防范

 

总的说来,flash存储设备已经在电商获得了较大的发展,在电商对读和写要求较高的场合得到了应用,并且表现出良好的效益。因此,随着falsh存储设备的不断成熟和价格不断合理化,flash存储设备是否将取代传统硬盘,成为存储普及主流,我们拭目以待。

 

(铁歌/文)

 



查阅更多相关主题的帖子: Flash存储设备 电商 SSD

评论

您还未登录,不能对文章发表评论!请先登录