Spark Streaming技術內幕及源碼剖析pdf

双色球杀号
双色球杀号
双色球杀号
11103
文章
1708
評論
2020年10月12日21:22:46 評論 48
摘要

全麵透徹剖析Spark Streaming技術內幕和源碼,並結合Spark Streaming調優實踐的經驗總結,適合所有大數據應用的技術管理和開發人員閱讀。
本書涵蓋Spark Streaming的內部技術原理、源碼分析、性能調優方法以及對未來Spark Streaming新版本的新功能分析。

Spark Streaming技術內幕及源碼剖析 作者:王家林,夏陽

Spark Streaming技術內幕及源碼剖析 出版社:清華大學出版社

Spark Streaming技術內幕及源碼剖析 內容簡介

本書以大數據處理引擎Spark的穩定版本1.6.x為基礎,從應用案例、原理、源碼、流程、調優等多個角度剖析Spark上的實時計算框架Spark Streaming。在勾勒出Spark Streaming架構輪廓的基礎上,從基本源碼開始進行剖析,由淺入深地引導已具有Spark和Spark Streaming基礎技術知識的讀者進行Spark Streaming的進階學習,理解Spark Streaming的原理和運行機製,為流數據處理的決策和應用提供了技術參考;結合Spark Streaming的深入應用的需要,對Spark Streaming的性能調優進行了分析,也對Spark Streaming功能的改造和擴展提供了指導。

本書適合大數據領域CTO、架構師、高級軟件工程師,尤其是Spark領域已有Spark Streaming基礎知識的從業人員閱讀,也可供需要深入學習Spark、Spark Streaming的高校研究生和高年級本科生參考。

Spark Streaming技術內幕及源碼剖析 目錄

第1章 Spark Streaming應用概述 ······1

1.1 Spark Streaming應用案例 ·······2

1.2 Spark Streaming應用剖析 ·····13

第2章 Spark Streaming基本原理 ····15

2.1 Spark Core簡介 ··················16

2.2 Spark Streaming設計思想 ·····26

2.3 Spark Streaming整體架構 ·····30

2.4 編程接口 ·························33

第3章 Spark Streaming運行流程詳解·············39

3.1 從StreamingContext的初始化到啟動 ··········40

3.2 數據接收 ·························54

3.3 數據處理 ·························91

3.4 數據清理 ························115

3.5 容錯機製 ························127

3.5.1 容錯原理 ·························128

3.5.2 Driver容錯機製 ·················152

3.5.3 Executor容錯機製 ··············161

3.6 No Receiver方式 ···············167

3.7 輸出不重複 ·····················175

3.8 消費速率的動態控製 ·········176

3.9 狀態操作 ························189

3.10 窗口操作 ·······················212

3.11 頁麵展示 ·······················216

3.12 Spark Streaming應用程序的停止··········227

第4章Spark Streaming 性能調優機製···········237

4.1 並行度解析 ·····················238

4.1.1 數據接收的並行度 ·············238

4.1.2 數據處理的並行度 ·············240

4.2 內存······························240

4.3 序列化 ···························240

4.4 Batch Interval ···················241

4.5 Task ·······························242

4.6 JVM GC ·························242

第5章Spark 2.0中的流計算 ··········245

5.1 連續應用程序 ··················246

5.2 無邊界表unbounded table ····248

5.3 增量輸出模式 ··················249

5.4 API簡化 ··························250

5.5 其他改進 ························250

双色球杀号:Spark Streaming技術內幕及源碼剖析pdf

繼續閱讀
資源地址:用心發表評論,回複即可查看(字數限製至少10字以上)。
  • 我的微信
  • 掃一掃加好友
  • weinxin
  • 微信公眾號
  • 掃一掃關注
  • weinxin
Python量化交易實戰epub 程序設計

Python量化交易實戰epub

Python量化交易實戰 作者:王曉華 Python量化交易實戰 出版社:清華大學出版社 Python量化交易實戰 內容簡介 在目前不斷變化、蓬勃發展的中國資本市場,量化投資作為新興的投資方法,引來越...
現代API 通往架構師之門epub 程序設計

現代API 通往架構師之門epub

現代API 通往架構師之門 作者:李泉 現代API 通往架構師之門 出版社:清華大學出版社 現代API 通往架構師之門 內容簡介 本書首先回顧係統集成及服務的曆史,對其核心概念和核心思想進行重新闡述;...
Python自動化運維 技術與最佳實踐pdf 程序設計

Python自動化運維 技術與最佳實踐pdf

Python自動化運維 技術與最佳實踐 作者:劉天斯 Python自動化運維 技術與最佳實踐 出版社:機械工業出版社 Python自動化運維 技術與最佳實踐 內容簡介 本書在中國運維領域將有“劃時代”...
Docker基礎與實戰pdf 程序設計

Docker基礎與實戰pdf

快速掌握Docker容器,打造麵向開發者與運營者的部署係統,輕鬆應對技術衝擊。 應用部署係統,實現“一次構建,處處運行”。 構建無虛擬機負荷的輕量級虛擬環境,不受約束實現快速處理。
匿名

發表評論

匿名網友 填寫信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: