Oracle大数据解决方案

第Ⅰ部分引言

第1章大数据简介

1.1大数据

1.2谷歌的MapReduce算法和ApacheHadoop

1.3Oracle的大数据平台

1.4总结

第2章大数据的价值

2.1我是大数据吗？还是大数据是我？

2.2大数据，小数据--仍然是数据

2.2.1什么已经发生了？

2.2.2现在发生了什么？

2.3请看看现实！

2.4你想把它做成什么？

2.5大数据，大数字，大企业？

2.5.1Twitter

2.5.2Facebook

2.5.3内部源

2.5.4ICR：连接

2.5.5ICR：变更

2.6需要：大数据的价值

2.6.1大数据案例1：医疗行业的临床试验研究

2.6.2大数据案例2：在汽车行业的汽车设计中改进驾驶员安全

2.7总结

第II部分大数据平台

第3章ApacheHadoop平台

3.1软件与硬件

3.2Hadoop的软件平台

3.2.1Hadoop的发布与版本

3.2.2HadoopDistributedFileSystem(HDFS)

3.2.3调度、计算和处理

3.3操作系统的选择

3.4Hadoop硬件平台

3.4.1CPU和内存

3.4.2网络

3.4.3磁盘

3.5整合在一起

第4章选择Appliance的理由

4.1Oracle创建大数据机的理由

4.2Appliance的概念

4.3OracleBigDataAppliance的发展目标

4.4Appliance优化

4.5OracleBigDataAppliance第2版软件

4.6Oracle大数据机X3-2硬件

4.7Oracle获取Hadoop知识的地方

4.8配置Hadoop集群

4.8.1选择核心集群组件

4.8.2组装集群

4.9自己组建的集群

4.10集群总成本

4.11时间价值

4.12如何打造更大的集群

4.13Oracle大数据机可否支持其他软件

4.14一体机的缺陷

第5章BDA配置、部署架构和监控

5.1介绍

5.1.1大数据机X3-2满配机架(18个节点)

5.1.2大数据机X3-2入门机架(6个节点)

5.1.3大数据机X3-2扩展机架(6个节点)

5.1.4BDA的硬件修改

5.1.5大数据机X3-2的软件支持

5.2BDA安装和配置过程

5.3关键和非关键节点

5.4NameNode故障自动切换

5.5BDA磁盘存储布局

5.6为Hadoop集群增加存储

5.7仅有Hadoop配置和Hadoop+NoSQL数据库

5.7.1仅有Hadoop的一体机

5.7.2Hadoop和NoSQL数据库

5.8内存选项

5.9部署架构

5.9.1云中的多租户和Hadoop

5.9.2可扩展性

5.9.3BDA多机架的注意事项

5.10在BDA上安装其他软件

5.11数据中心的BDA

5.11.1管理网络

5.11.2客户端访问网络

5.11.3Infiniband私有网络

5.11.4网络需求

5.11.5连接到数据中心的局域网

5.11.6连接架构的例子

5.12Oracle大数据机的使用限制

5.13BDA的管理和监控

5.13.1企业管理器

5.13.2Cloudera管理器

5.13.3Hadoop的监控工具：Web图形用户界面

5.13.4OracleILOM

5.13.5Hue

5.13.6DCLI工具

第6章为大数据集成数据仓库和分析基础架构

6.1数据仓库作为存储历史记录的数据库

6.1.1Oracle数据库作为数据仓库

6.1.2为什么要把数据仓库和Hadoop部署在一起

6.2完成路径：业务分析师工具

6.3扩建基础设施

第7章BDA连接器

7.1OracleBigDataConnectors

7.2OracleLoaderforHadoop

7.2.1在线模式

7.2.2OracleOCIDirectPathOutput

7.2.3JDBCOutput

7.2.4离线模式

7.2.5OracleDataPumpOutput

7.2.6带分隔符的文本输出

7.3安装OracleLoaderforHadoop

7.4调用OracleLoaderforHadoop

7.5输入格式

7.5.1DelimitedTextInputFormat

7.5.2RegexInputFormat

7.5.3AvroInputFormat

7.5.4HiveToAvroInputFormat

7.5.5KVAvroInputFormat

7.5.6自定义输入格式

7.6OracleLoaderforHadoop配置文件

7.6.1LoaderMaps

7.6.2额外的优化

7.6.3利用Infiniband

7.6.4对比ApacheSqoop

7.7OracleSQLConnectorforHDFS

7.8安装OracleSQLConnectorforHDFS

7.9Hive安装

7.10使用OracleSQLConnectorforHDFS创建外部表

7.10.1ExternalTable配置工具

7.10.2数据源类型

7.10.3配置工具语法

7.10.4必需的属性

7.10.5可选属性

7.10.6针对带分隔符的ExternalTable工具

7.10.7在使用--noexecute选项的情况下测试DDL

7.10.8在位置文件里增加一个新的HDFS文件

7.10.9外部表的手动配置

7.11Hive源

7.12OracleDataPump源

7.13配置文件

7.14使用OracleSQLConnectorforHDFS查询

7.15OracleRConnectorforHadoop

7.16OracleDataIntegratorApplicationAdapterforHadoop

第8章OracleNoSQL数据库

8.1NoSQL数据库系统的定义

8.2OracleNoSQL数据库

8.3架构

8.3.1客户端驱动程序

8.3.2键-值对

8.3.3存储节点

8.3.4复制

8.3.5智能拓扑

8.3.6在线的灵活性

8.3.7没有单点故障

8.4数据管理

8.4.1API

8.4.2CRUD操作

8.4.3多种更新操作

8.4.4查找操作

8.4.5事务

8.4.6可预测的性能

8.5集成

8.6安装和管理

8.6.1简单安装

8.6.2管理

8.7OracleNoSQL数据库的特性

8.8有用的链接

第III部分分析信息和制定决策

第9章数据库库内分析：快速交付彰显时间价值

9.1介绍

9.1.1Oracle数据库内分析

9.1.2为什么在数据库内运行如此重要

9.2Oracle数据挖掘和统计分析介绍

9.2.1Oracle库内高级分析

9.2.2Oracle数据挖掘

9.2.3R语言介绍

9.2.4文本挖掘

9.3库内统计函数

9.4空间分析

9.4.1理解空间数据模型

9.4.2查询空间数据模型

9.4.3使用空间分析

9.4.4让BI工具更聪明

9.5基于图形分析

9.5.1图形数据模型

9.5.2查询图形数据

9.6多维分析

9.7库内分析：综合范例

9.7.1在ETL过程中集成分析

9.7.2提供指导浏览

9.7.3提供混搭式分析

9.8总结

第10章使用R分析数据

第11章Endeca信息发现

第12章大数据治理

第13章大数据开发架构和路线图

　　《Oracle大数据解决方案》由Oracle大数据团队成员联袂撰写，全面介绍用于获取、组织、分析和利用非结构化数据的Oracle综合集成化产品。本书讨论成功实现大数据方案必需的策略和技术，包括ApacheHadoop、Oracle大数据机、Oracle大数据连接器、OracleNoSQL数据库、OracleEndeca、Oracle高级分析和Oracle开源R产品，还讲述迁移既有系统并将现有数据仓库和分析解决方案集成到企业大数据基础架构的最佳实践。
　　主要内容
　　●理解综合性大数据战略的价值
　　●最大限度地提高ApacheHadoop平台的分布式处理能力
　　●介绍将Oracle大数据机用作Hadoop和OracleNoSQL数据库工程系统的优势
　　●使用Oracle大数据机来配置、部署、监控Hadoop和OracleNoSQL数据库
　　●将现有数据仓库和分析基础架构集成到大数据架构
　　●使用Oracle数据连接器在Hadoop和关系型数据库之间共享数据
　　●理解如何将OracleNoSQL数据库集成到Oracle大数据架构
　　●使用数据库内分析更快地实现价值
　　●使用Oracle高级分析(OracleR企业版和Oracle数据挖掘)、OracleR分发版、ROracle和OracleRConnectorforHadoop来分析数据
　　●使用OracleEndeca信息发现来分析独立数据
　　●规划和实施大数据管理战略，开发架构和路线图