大话存储

第1章 盘古开天——存储系统的前世今生 1

1.1 存储历史. 2

1.2 信息. 数据和数据存储 5

1.2.1 信息 5

1.2.2 什么是数据 7

1.2.3 数据存储 7

1.3 用计算机来处理信息. 保存数据 8

第2章 IO大法——走进计算机IO世界 11

2.1 IO的通路——总线 12

2.2 计算机内部通信 13

2.2.1 IO总线可以看作网络么 14

2.2.2 CPU. 内存和磁盘之间通过网络来通信 15

2.3 网中之网 17

第3章 磁盘大挪移——磁盘原理与技术详解 19

3.1 硬盘结构 20

3.1.1 盘片上的数据组织 22

3.1.2 硬盘控制电路简介 28

3.1.3 磁盘的IO单位 29

3.2 磁盘的通俗演绎 30

3.3 磁盘相关高层技术 32

3.3.1 磁盘中的队列技术 32

3.3.2 无序传输技术 33

3.3.3 几种可控磁头扫描方式评论 34

3.3.4 关于磁盘缓存 36

3.3.5 影响磁盘性能的因素 36

3.4 硬盘接口技术 37

3.4.1 IDE硬盘接口 37

3.4.2 SATA硬盘接口 40

3.5 SCSI硬盘接口 43

3.6 磁盘控制器. 驱动器控制电路和磁盘控制器驱动程序 50

3.6.1 磁盘控制器 50

3.6.2 驱动器控制电路 51

3.6.3 磁盘控制器驱动程序 51

3.7 内部传输速率和外部传输速率 53

3.7.1 内部传输速率 53

3.7.2 外部传输速率 54

3.8 并行传输和串行传输 54

3.8.1 并行传输 54

3.8.2 串行传输 55

3.9 磁盘的IOPS和传输带宽(吞吐量) 56

3.9.1 IOPS 56

3.9.2 传输带宽 57

3.10 小结：网中有网， 网中之网 58

第4章 七星北斗——大话/详解七种RAID 59

4.1 大话七种RAID武器 60

4.1.1 RAID 0阵式 60

4.1.2 RAID 1阵式 62

4.1.3 RAID 2阵式 64

4.1.4 RAID 3阵式 67

4.1.5 RAID 4阵式 71

4.1.6 RAID 5阵式 72

4.1.7 RAID 6阵式 76

4.2 七种RAID技术详解 78

4.2.1 RAID 0技术详析 80

4.2.2 RAID 1技术详析 82

4.2.3 RAID 2技术详析 83

4.2.4 RAID 3技术详析 85

4.2.5 RAID 4技术详析 87

4.2.6 RAID 5技术详析 90

4.2.7 RAID 6技术详析 93

第5章 降龙传说——RAID. 虚拟磁盘. 卷和文件系统实战 95

5.1 操作系统中RAID的实现和配置 96

5.1.1 Windows Server 2003高级磁盘管理 96

5.1.2 Linux下软RAID配置示例 105

5.2 RAID卡 107

5.3 磁盘阵列 119

5.4 实现更高级的RAID 119

5.4.1 RAID 50 119

5.4.2 RAID 10和RAID 01 120

5.5 虚拟磁盘 120

5.5.1 RAID组的再划分 121

5.5.2 同一通道存在多种类型的RAID组 121

5.5.3 操作系统如何看待逻辑磁盘 122

5.5.4 RAID控制器如何管理逻辑磁盘 122

5.6 卷管理层 123

5.6.1 有了逻辑盘就万事大吉 124

5.6.2 卷管理层 125

5.6.3 Linux下配置LVM实例 126

5.6.4 卷管理软件的实现 128

5.6.5 低级VM和高级VM 130

5.6.6 VxVM卷管理软件配置简介 131

5.7 大话文件系统 134

5.7.1 成何体统——没有规矩的仓库 134

5.7.2 慧眼识人——交给下一代去设计 135

5.7.3 无孔不入——不浪费一点空间 136

5.7.4 一箭双雕——一张图解决两个难题 137

5.7.5 宽容似海——设计也要像心胸一样宽 139

5.7.6 老将出马——权威发布 139

5.7.7 一统江湖——所有操作系统都在用 140

5.8 文件系统中的IO方式 140

第6章 阵列之行——大话磁盘阵列 143

6.1 初露端倪——外置磁盘柜应用探索 144

6.2 精益求精——结合RAID卡实现外置磁盘阵列 145

6.3 独立宣言——独立的外部磁盘阵列 147

6.4 双龙戏珠——双控制器的高安全性磁盘阵列 149

6.5 龙头凤尾——连接多个扩展柜 150

6.6 锦上添花——完整功能的模块化磁盘阵列 152

6.7 一脉相承——主机和磁盘阵列本是一家 153

6.8 天罗地网——SAN(Storage Area Network)存储区域网络 154

第7章 熟读宝典——系统与系统之间的语言OSI 155

7.1 人类模型与计算机模型的对比剖析 156

7.1.1 人类模型 156

7.1.2 计算机模型 157

7.1.3 个体间交流是群体进化的动力 158

7.2 系统与系统之间的语言——OSI初步 158

7.3 OSI模型的七个层次 159

7.3.1 应用层 160

7.3.2 表示层 160

7.3.3 会话层 160

7.3.4 传输层 160

7.3.5 网络层 161

7.3.6 数据链路层 162

7.3.7 物理层 165

7.4 OSI与网络 166

第8章 勇破难关——Fibre Channel协议详解 169

8.1 FC网络——极佳的候选角色 170

8.1.1 物理层 170

8.1.2 链路层 171

8.1.3 网络层 172

8.1.4 传输层 178

8.1.5 上三层 179

8.1.6 小结 179

8.2 FC协议中的七种端口类型 180

8.2.1 N端口和F端口 180

8.2.2 L端口 180

8.2.3 NL端口和FL端口 181

8.2.4 E端口 183

8.2.5 G端口 183

8.3 FC适配器 184

8.4 改造盘阵前端通路——SCSI迁移到FC 185

8.5 引入FC之后 186

第9章 天翻地覆——FC协议的巨大力量 191

9.1 FC交换网络替代并行SCSI总线的必然性 192

9.1.1 面向连接与面向无连接 192

9.1.2 串行和并行 193

9.2 不甘示弱——后端也升级换代为FC 193

9.3 FC革命——完整的盘阵解决方案 195

9.3.1 FC磁盘接口结构.. 195

9.3.2 一个磁盘同时连入两个控制器的Loop中 196

9.3.3 共享环路还是交换——SBOD芯片级详解 197

9.4 中高端磁盘阵列整体架构简析 208

9.4.1 IBM DS4800控制器架构简析 209

9.4.2 NetApp FAS系列磁盘阵列控制器简析 212

9.4.3 IBM DS8000简介 213

9.4.4 富士通ETERNUS6000磁盘阵列控制器结构简析 214

9.4.5 EMC公司CX及DMX系列盘阵介绍 216

9.4.6 HDS公司USP系列盘阵介绍 217

9.5 磁盘阵列配置实践 218

9.5.1 基于IBM的DS4500盘阵的配置实例 218

9.5.2 基于EMC的CX700磁盘阵列配置实例 227

9.6 小结 230

第10章 三足鼎立——DAS， SAN和NAS 233

10.1 NAS也疯狂 234

10.1.1 另辟蹊径——乱弹NAS的起家 234

10.1.2 双管齐下——两种方式访问的后端存储网络 237

10.1.3 万物归一——网络文件系统 238

10.1.4 美其名曰——NAS(Network Attached Storage网络附加存储) 246

10.2 龙争虎斗——NAS与SAN之争 247

10.3 三足鼎立——DAS. SAN和NAS 250

10.4 最终幻想——将文件系统语言承载于FC网络传输 251

10.5 长路漫漫——系统架构进化过程 251

10.5.1 第一阶段：全整合阶段 252

10.5.2 第二阶段：磁盘外置阶段 252

10.5.3 第三阶段：外部独立磁盘阵列阶段 252

10.5.4 第四阶段：网络化独立磁盘阵列阶段 253

10.5.5 第五阶段：瘦服务器主机. 独立NAS阶段 253

10.5.6 第六阶段：全分离式架构 253

10.5.7 第七阶段：能量积聚， 混沌阶段 254

10.5.8 第八阶段：收缩阶段 254

10.5.9 第九阶段：强烈坍缩阶段 255

10.6 泰山北斗——NetApp的NAS产品 255

10.6.1 WAFL配合RAID 4 256

10.6.2 Data ONTAP利用了数据库管理系统的设计 257

10.6.3 利用NVRAM来记录操作日志 257

10.6.4 WAFL从不覆写数据 258

10.7 初露锋芒——BlueArc公司的NAS产品 258

第11章 大师之作——大话以太网和TCP/IP协议 261

11.1 共享总线式以太网 262

11.1.1 连起来 262

11.1.2 找目标 262

11.1.3 发数据 263

11.2 网桥式以太网 264

11.3 交换式以太网 265

11.4 TCP/IP协议 266

11.4.1 TCP/IP协议中的IP 266

11.4.2 IP的另外一个作用 267

11.4.3 TCP/IP协议中的TCP和UDP 268

11.5 TCP/IP和以太网的关系 271

第12章 异军突起——存储网络的新军IP SAN 273

12.1 横眉冷对——TCP/IP与FC 274

12.2 自叹不如——为何不是以太网+TCP/IP 274

12.3 天生我才必有用——攻陷Disk SAN阵地 275

12.4 ISCSI交互过程简析 275

12.4.1 实例一：初始化磁盘过程 276

12.4.2 实例二：新建一个文本文档 278

12.4.3 实例三：文件系统位图 281

12.5 ISCSI磁盘阵列 283

12.6 IP SAN 284

12.7 增强以太网和TCP/IP的性能 285

12.8 FC SAN节节败退 286

12.9 ISCSI配置应用实例 287

12.9.1 第一步：在存储设备上创建LUN 287

12.9.2 第二步：在主机端挂载LUN 289

12.10 小结 292

第13章 握手言和——IP与FC融合的结果 293

13.1 FC的窘境 294

13.2 协议融合的迫切性 295

13.3 网络通信协议的四级结构 299

13.4 协议融合的三种方式 300

13.5 Tunnel和Map融合方式各论 301

13.5.1 Tunnel方式 302

13.5.2 Map方式 303

13.6 FC与IP协议之间的融合 305

13.7 无处不在的协议融合 306

13.8 交叉融合 306

13.9 IFCP和FCIP的具体实现 307

13.10 局部隔离/全局共享的存储网络 309

13.11 多协议混杂的存储网络 310

第14章 变幻莫测——虚拟化 313

14.1 操作系统对硬件的虚拟化 314

14.2 计算机存储子系统的虚拟化 316

14.3 带内虚拟化和带外虚拟化 319

14.4 硬网络与软网络 323

14.5 用多台独立的计算机模拟成一台虚拟计算机 323

14.6 用一台独立的计算机模拟出多台虚拟计算机 324

14.7 用磁盘阵列来虚拟磁带库 324

14.7.1 NetApp VTL700配置使用实例 325

第15章 众志成城——存储群集 337

15.1 群集概述 338

15.1.1 高可用性群集(HAC) 338

15.1.2 负载均衡群集(LBC) 338

15.1.3 高性能群集(HPC) 338

15.2 群集的适用范围 339

15.3 系统路径上的群集各论 339

15.3.1 硬件层面的群集 339

15.3.2 软件层面的群集 341

15.4 实例：Microsoft MSCS软件实现应用群集 341

15.4.1 在Microsoft Windows Server 2003上安装MSCS 342

15.4.2 配置心跳网络 344

15.4.3 测试安装 344

15.4.4 测试故障转移 345

15.5 实例：SQL Server群集安装配置 345

15.5.1 安装SQL Server 345

15.5.2 验证SQL 数据库群集功能 348

15.6 小结：世界本身就是一个群集 351

第16章 未雨绸缪——数据保护和备份技术 353

16.1 数据保护 354

16.1.1 数据保护的方法 354

16.2 高级数据保护方法 355

16.2.1 远程文件复制 355

16.2.2 远程磁盘(卷)镜像 356

16.2.3 块(快)照数据保护 356

16.2.4 Continuous Data Protect(CDP， 连续数据保护) 363

16.3 数据备份系统的基本要件 367

16.3.1 备份目的 368

16.3.2 备份通路 371

16.3.3 备份引擎 373

16.3.4 三种备份方式 377

16.3.5 数据备份系统案例一 378

16.3.6 数据备份系统案例二 379

16.3.7 NetBackup配置指南 380

16.3.8 配置DB2数据库备份 392

第17章 愚公移山——大话数据容灾 399

17.1 容灾概述 400

17.2 生产资料容灾——原始数据的容灾 401

17.2.1 通过主机软件实现前端专用网络或者前端公用网络同步 402

17.2.2 案例：DB2数据的HADR组件容灾 405

17.2.3 通过主机软件实现后端专用网络同步 411

17.2.4 通过数据存储设备软件实现专用网络同步 415

17.2.5 案例：IBM公司Remote Mirror容灾实施 416

17.2.6 小结 421

17.3 容灾中数据的同步复制和异步复制 421

17.3.1 同步复制例解 421

17.3.2 异步复制例解 423

17.4 生产者的容灾——服务器应用程序的容灾 424

17.4.1 生产者容灾概述 424

17.4.2 案例一：基于Symantec公司的应用容灾产品VCS 428

17.4.3 案例二：基于Symantec公司的应用容灾产品VCS 431

附录 五百年后——系统架构将

走向何方 435

后记

网络存储，是近二十年来的新兴行业。从纸带到硬盘再到大型磁盘阵列，存储系统经历了从简单到复杂，从单块硬盘到存储区域网络(SAN)。网络存储行业目前已经是一个步入正轨的IT行业了。 网络存储是一个涉及计算机硬件以及网络协议/技术、操作系统以及专业软件等各方面综合知识的领域。目前国内阐述网络存储的书籍少之又少，大部分是国外作品，对存储系统底层细节的描述不够深入，加之术语太多，初学者很难真正理解网络存储的精髓。本书以特立独行的行文风格向读者阐述了整个网络存储系统。从硬盘到应用程序，这条路径上的每个节点，作者都进行了阐述。书中内容涉及：计算机IO基本概念，硬盘物理结构、盘片数据结构和工作原理，七种常见RAID原理详析以及性能细节对比，虚拟磁盘、卷和文件系统原理，磁盘阵列系统，OSI模型，FC协议，众多磁盘阵列架构，SAN和NAS系统，TCP和以太网以及IP SAN，协议融合理论，存储虚拟化，存储及服务器群集，数据保护和备份技术，快照技术，数据容灾技术。本书用独特的写作方式通俗地诠释了这些晦涩、枯燥的难点技术并提供了许多前所未有的操作实践和本书作者长期从事存储工作的一些经验点滴。本书适合初入存储行业的技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以提高技能，另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读本书。

《大话存储：网络存储系统原理精解与最佳实践》用独特的写作方式通俗地诠释了这些晦涩、枯燥的难点技术并提供了许多前所未有的操作实践和《大话存储》作者长期从事存储工作的一些经验点滴。
《大话存储：网络存储系统原理精解与最佳实践》适合初入存储行业的技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以提高技能，另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读《大话存储：网络存储系统原理精解与最佳实践》。
国内首次全面披露网络存储深层技术细节。
特立独行的行文风格，一针见血的诠释技术。
网络存储和存储网络，谈笑间难点灰飞烟灭。
全面解密SAN、NAS系统。
涉及众多底层细节，中文资料独家提供。
提供最佳操作实践，严禁纸上谈兵。
四大网站《大话存储：网络存储系统原理精解与最佳实践》技术讨论专题，你不是一个人在战斗。