大數(shù)據(jù)概念和關(guān)鍵驅(qū)動因素

大數(shù)據(jù)的定義

大數(shù)據(jù)的四個特征的名稱

兩類機器學(xué)習(xí)的名稱和通常與之相關(guān)的技術(shù)

監(jiān)督式 - 分類和回歸

非監(jiān)督式 - 聚類和關(guān)聯(lián)

大數(shù)據(jù)的起源和三類大數(shù)據(jù)發(fā)展階段的特點：

大數(shù)據(jù)的四個特征以及它們?nèi)绾螀^(qū)分大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)分析

1. Volume – 體量 2. Velocity – 速率 3. Variety- 多樣性 4. Veracity – 可信度

四種識別模式

1.analysis - 分析 2.analytics- 解析 3.business intelligence - 商業(yè)智能 4.Big Data - 大數(shù)據(jù)

不同類型的解析目的

1. descriptive - 描述性 2. diagnostic - 診斷性 3. predictive - 預(yù)測性 4. prescriptive - 規(guī)范性

大數(shù)據(jù)環(huán)境中元數(shù)據(jù)的功能

三類數(shù)據(jù)類型的特征

1. Structured - 結(jié)構(gòu)化 2. Unstructured - 非結(jié)構(gòu)化 3. Semi-structured - 半結(jié)構(gòu)化

Hadoop 在分布式存儲和分布式處理中的作用

了解兩類機器學(xué)習(xí)，并能夠識別相關(guān)樣

1.Supervised - 監(jiān)督式 2.Unsupervised - 非監(jiān)督式

大數(shù)據(jù)框架

大數(shù)據(jù)框架六種能力的名稱

如何建立大數(shù)據(jù)組織的六大數(shù)據(jù)框架能力的相關(guān)性

大數(shù)據(jù)成熟度模型的不同層次

Level 1 - Analytically Impaired – 分析能力有損級

Level 2 - Localized Analytics – 分析能力本地級

Level 3 - Analytical Operation - 分析能力運營級

Level 4 - Analytical Enterprise - 分析能力企業(yè)級

Level 5 - Data Driven Enterprise - 數(shù)據(jù)驅(qū)動企業(yè)級

大數(shù)據(jù)戰(zhàn)略

制定大數(shù)據(jù)戰(zhàn)略的五個步驟及其順序

制定大數(shù)據(jù)戰(zhàn)略所需要的六個業(yè)務(wù)驅(qū)動影響因素，以及如何使用大數(shù)據(jù)來產(chǎn)生競爭優(yōu)勢

優(yōu)先級矩陣

1. 目的 2. 結(jié)構(gòu)

制定大數(shù)據(jù)戰(zhàn)略五個步驟中的每一步所涉及的活動:

步驟1 - 定義業(yè)務(wù)目標

步驟2 - 評估當前現(xiàn)狀

步驟3 - 識別用例并排優(yōu)先級

步驟4 - 制定大數(shù)據(jù)路線圖

步驟5 - 通過變更管理植入

大數(shù)據(jù)架構(gòu)

指導(dǎo)性架構(gòu)與其目標

NIST 大數(shù)據(jù)參考架構(gòu)的主要特點

整體結(jié)構(gòu)（5 個邏輯角色和2個維度)

角色名稱

維度名稱

信息如何在不同角色之間流動

Hadoop 架構(gòu)下核心組件的名稱

NameNode – 名字節(jié)點

MapReduce – 映射歸約

SlaveNode - 從屬節(jié)點

Job tracker – 工作跟蹤器

HDFS - 分布式文件系統(tǒng)

使用大數(shù)據(jù)參考架構(gòu)的收益

與參考架構(gòu)中的邏輯角色相關(guān)聯(lián)的職能和活動

System Orchestrator - 系統(tǒng)編配器

Data Provider - 數(shù)據(jù)提供者

Big Data Application Provider - 大數(shù)據(jù)應(yīng)用提供者

Big Data Framework Provider - 大數(shù)據(jù)框架提供者

Data Consumer - 數(shù)據(jù)消費者

本地式處理和分布式存儲處理的區(qū)別

面對海量數(shù)據(jù)的三種大數(shù)據(jù)存儲系統(tǒng)

Direct Attached Storage (DAS)- 直接附加存儲

Network Attached Storage (NAS) - 網(wǎng)絡(luò)附加存儲

Storage Area Network (SAN) - 存儲區(qū)域網(wǎng)絡(luò)

大數(shù)據(jù)存儲機制

File systems - 文件系統(tǒng)

NoSQL databases - NoSQL 數(shù)據(jù)庫

Parallel programming models - 并行編程模型

大數(shù)據(jù)實證分析體系結(jié)構(gòu)

Real time analysis- 實時分析

Off-line analysis - 離線分析

Hadoop 在大數(shù)據(jù)環(huán)境中的功能

以下 Hadoop 組件的角色

NameNode – 名字節(jié)點

MapReduce – 映射歸約

SlaveNode - 從屬節(jié)點

Job tracker – 工作跟蹤器

HDFS – 分布式文件系統(tǒng)

大數(shù)據(jù)算法

什么是描述性統(tǒng)計信息

關(guān)聯(lián)的關(guān)鍵要素

什么是關(guān)聯(lián)（correlation

兩種用于關(guān)聯(lián)的變量類型

關(guān)于Pearson皮爾遜關(guān)聯(lián)系數(shù)的關(guān)鍵要素

分類的關(guān)鍵要素

它能做什么？

機器學(xué)習(xí)的形式是什么？

對于每種類型的描述性統(tǒng)計，了解每個統(tǒng)計操作/分布措施或顯示

Central tendency statistics - 集中趨勢統(tǒng)計

Dispersion statistics and – 離散統(tǒng)計

Distribution Shapes – 分布形態(tài)

偏度特征

Positive - 正偏度

Negative – 負偏度

大數(shù)據(jù)計算中為什么要標準化

識別和計算描述性統(tǒng)計的示例

不同類型的分布式圖形的不同類型特征

1.Frequency - 頻率分布 2.Probability - 概率分布 3.Sampling – 抽樣分布 4.Normal – 正態(tài)分布

為什么分布式圖形對大數(shù)據(jù)和數(shù)據(jù)科學(xué)很重要

Probability - 概率分布

Sampling – 抽樣分布

Normal – 正態(tài)分布

Skew – 偏度

人口、抽樣和偏倚對大數(shù)據(jù)的影響

如何在大數(shù)據(jù)中使用關(guān)聯(lián)，并識別這些示例

關(guān)聯(lián)與回歸的區(qū)別

識別分類算法的示例

聚類的關(guān)鍵特性

它能做什么？

大多數(shù)聚類算法的典型著眼點

如何在大數(shù)據(jù)的上下文中使用異常檢測

每個可視化技術(shù)的關(guān)鍵特性以及每種技術(shù)是如何使用的

1. 柱形圖 2. 直方圖 3. 散點圖 4. 雙標圖 5. 箱型圖 6.正態(tài)分布Q-Q圖 7.餅狀圖

大數(shù)據(jù)流程

用于大數(shù)據(jù)中三個的主要流程及其主要特征

在數(shù)據(jù)分析流程中的步驟是通常使用的下列工具/技術(shù)以及它們在該步驟中的應(yīng)用方式

1.數(shù)據(jù)識別圖 2.數(shù)據(jù)可視化技術(shù) 3. 算法

形成大數(shù)據(jù)項目業(yè)務(wù)目標的六類問題的特點

1.描述性 2.探索性 3.推理性 4.預(yù)測性 5.因果性 6.機理性

數(shù)據(jù)分析流程中每個步驟的重要性以及每個步驟中發(fā)生的情況

1.確定目標 2.數(shù)據(jù)識別 3.數(shù)據(jù)收集和采購 4.數(shù)據(jù)評審 5.數(shù)據(jù)清洗 6.模型建立 7.數(shù)據(jù)處理 8.溝通結(jié)果

數(shù)據(jù)治理流程中每個步驟的重要性以及每個步驟中發(fā)生的情況

1.制定數(shù)據(jù)質(zhì)量戰(zhàn)略 2.評審合規(guī)性和隱私性需求 3.制定數(shù)據(jù)治理政策 4.分配角色和職責(zé)

數(shù)據(jù)管理流程中每個步驟的重要性以及每個步驟中發(fā)生的情況

1.指定指標和績效指標 2.監(jiān)控和管理企業(yè)數(shù)據(jù) 3.數(shù)據(jù)改進和驗證 4.對數(shù)據(jù)管理人員進行溝通和培訓(xùn)

大數(shù)據(jù)職能

卓越的大數(shù)據(jù)中心的五大支柱名稱和每個支柱的關(guān)鍵特征:

1.大數(shù)據(jù)團隊 2.大數(shù)據(jù)實驗室 3.概念驗證 4.敏捷方法 5.計費模型

卓越的大數(shù)據(jù)中心的收益

大數(shù)據(jù)團隊中關(guān)鍵角色的典型職責(zé)和技能

1.大數(shù)據(jù)分析師 2.大數(shù)據(jù)科學(xué)家 3.大數(shù)據(jù)工程師

大數(shù)據(jù)組織的六個成功因素

人工智能

基于圖靈測試的智能化的實用型定義

關(guān)于認知分析的關(guān)鍵因素

1.什么是認知分析 2.認知分析與其他形式的分析之間差異的兩個主要特征