山东11选5


JobKeeper的背景


  在沒有JobKeeper如此智能的調度平臺輔助時,大數據處理時很不方便,因為在處理大數據時通常都會調用多個軟件組件,而多個工具的使用當時只能依靠手動來調用,才能完成整個處理流程,這樣大大的增加了處理成本,也浪費了很多時間、人工。針對這樣的情況,云創大數據經過多次針對性調研整理,研發出JobKeeper智能調度平臺,成功解決這一難題,通過JoKeeper調度平臺,在處理大數據時,可以很方便的按流程來自動調用所有的組件, 除此之外,智能的JobKeeper應用范圍很廣泛,不僅僅局限于大數據處理,而且各個方面都適用,并且可以對機器進行性能監控。



JobKeeper產品簡介


  JobKeeper是南京云創大數據科技股份有限公司自主研發的分布式調度平臺(亦支持單機),具有較高的任務處理性能,而且具有高可靠性,可不間斷接受任務。

  JobKeeper 是一種處理任務的高性能分布式調度平臺,JobKeeper可不間斷接受從各臺計算機提交的任務,再按照當前集群中所有機器的壓力,智能進行分配任務,進而達到集群負載均衡。通過JobKeeper還可以對當前分布式集群的所有機器的狀況進行監控,對集群中所有的任務進行停止、刪除等功能。



系統基本組成


JobKeeper的系統架構如圖1所示:

圖1 JobKeeper系統架構圖

虛擬化資源層
將機器進行虛擬化,形成更大范圍的服務集群。
存儲層
存儲數據的處理結果集或其他中間結果集的單元。

數據處理層
獨立的數據處理程序,是對不同需求數據的統一處理方案,由JobKeeper調度平臺進行統一的配置管理。
業務層
對于應用層的相關功能的業務化,數字化處理,用于將應用層的需求任務進行規則化劃分,形成統一的處理化模式。

應用層
一組用于管理和結果反饋的顯示組件。是整個系統面向用戶和開發人員的基礎承載。


JobKeeper的任務分發流程如圖2所示:

圖2 JobKeeper任務分發流程圖

  當用戶在應用層下發任務給管理節點,管理節點調度機器采集機器節點的信息,根據具體的算法選取合適的節點并分發任務,接下來具體的處理節點接收到任務并處理同時將結果返回給管理節點,管理節點整理匯總處理結果,而后返回給應用層。



服務器節點組
負責對處理節點的系統信息以及任務處理信息進行實時的跟蹤和保存,對應的信息鏡像存儲在基于cStor或者NFS服務的存儲系統上。
處理節點組
通過RPC的遠程調用獲取各自節點的任務處理目標,并實時的和處理節點上的任務處理目標進行對比,控制程序的執行和結束。處理節點組會在一個設定的心跳間隔內主動的和管理節點組聯系一次,報告節點存活狀態。


JobKeeper系統故障處理機制


Jobkeeper的故障處理機制如圖3所示:

圖3 Jobkeeper故障處理機制圖

   首先是任務處理節點宕機或者該任務初始化后出現錯誤,那么該任務返還到任務調度層交給調度節點重新分配。如果任務處理節點宕機或者子任務出現未知錯誤,那么該任務將返回到任務處理節點上 由任務節點機器重新分配該子任務。而所有的任務信息和處理節點信息都會定時寫入到磁盤文件 所以不需要擔心做了一半的任務要從頭開始做。



JobKeeper產品優勢


高可靠性
平臺采用“多主多備,負載均衡”的管理節點設計模式,和“處理實時跟蹤”的處理節點設計模式,從而保證無論管理節點還是處理節點都不存在任何單點故障問題。
低依賴性
平臺采用模塊化設計思想,通過統一化配置和API接口的方式向用戶提供服務。無論用戶應用是用何種語言開發,何種處理方式,都可以交由平臺進行統一的調度管理。

低干預性
平臺采用基于事件化的統一管理模式。無論是動態擴展集群處理系統能力,還是單點故障的任務轉移,又或者是任務的實時監控和動態分配,都將在系統無人值守的情況下自動完成。
高實時性
平臺在高效率并行分布式軟件的支撐下,可以實現對任務的實時分配,實時調度,實時處理。在機器性能允許的范圍內,計算任務不會出現堆積的顯現,所有任務的控制工作基本都在秒級完成,具有很高的效率。


JobKeeper市場應用



應用范圍
應用描述
成功案例
傳媒行業 基于大量X86架構計算機構成的低成本云轉碼平臺上進行高清視頻轉碼。 某傳媒視頻云轉碼平臺等
自動化研究 對分布式集群進行智能調度與性能監控。 某研究所大數據處理平臺等
移動網絡優化 對分布式集群進行智能調度與性能監控。 某運營商共享云平臺等
醫療行業 海量數據處理的智能調配與集群性能監控。
項目 技術指標
數量 1套
品牌 云任務調度系統知名品牌。
體系架構 高性能集群分布式架構多任務調度系統。
數據處理性能隨節點數量的增加而線性增加,支持多節點自動負載均衡及故障轉移。
橫向擴展 支持在不停機情況下,通過向系統中增加節點的方式實現業務不中斷情況下擴充容量和性能。
在線修復 任意節點發生故障、可在不間斷業務的情況下進行修復。
支持主機系統 客戶端支持Linux(CentOS、RedHat、Ubuntu)、FreeBSD、Windows、蘋果MacOS X等主流操作系統。
高可用性

要求系統全冗余,節點必須是高可用配置。當元數據節點出現故障時,要能自動切換到備用元數據節點。任何一個節點出現故障,不影響數據的正常訪問。

可用性 當任意1個節點(包括元數據節點)發生故障,存儲系統仍然保持數據完整,并且不會停機中斷服務。
服務 原廠商質保服務, 三年7×24×4,4小時用戶現場響應服務。
可調度的任務總量 可迅速調度一萬個以上的任務。
數據存儲 數據能夠集中存儲和處理。
負載均衡性 大規模并發任務處理時,能夠根據節點負載進行動態分配處理任務,做到資源負載均衡。
調度管理 可對執行任務集中調度管理。
穩定性 1、系統連續運行7*24小時,無故障。
2、所有周期任務均正常執行,且執行結果正確。
可靠性 沒有單點故障,任意節點宕機,系統工作正常,可以繼續進行數據處理和應用查詢,不會影響分布式系統運行和查詢結果的準確性。
擴展性 既可以在很小規模機器上跑,也可以在成千上萬臺的機器上運行,而且經過很簡單的操作就可以把規模擴展到成千上萬臺服務器上,而且可靠性隨著加入節點的增加成線性上升。
分布式計算能力 集群能增加節點、并且能正常執行查詢任務,在流量沒變、資源增加的情況下,增加機器前后,查詢任務耗時按比例降低。

更多下載

聯系方式    總機:400-山東11選555-360



市場部

區域/行業
銷售人員
分 機
手機號
郵 箱
騰訊QQ
項目總監
袁高峰
8008
15051山東11選57778
新疆分公司
任家瑞
8019
13851763165
北京 安徽 天津 遼寧 黑龍江 吉林
駱夢陽
8052
13952028557
山東 浙江 四川 廣西
楊  劍
8030
18751869256
內蒙古
何家樂
8031
18616794962
云南、福建、河北、江西、上海
劉立宏
8034
13815414773
山西
劉連鵬
8018
18021395113
海南
左  賽
8033
18017566211
河南 重慶 湖北 貴州 陜西
王  軍
8035
13851877991
廣東
單明月
8056
13770311山東11選57
湖南
張緒文心
8027
18602548008
校企合作
張 偉
8028
05157345
新疆
陳鑫磊
15899133730
王 瑋
8054
15077865340
謝久軍
8042
13805153062 
人臉識別
李云龍
025-83700385-8050
15722710158
車牌識別
邱毅林
025-83700385-8022
15950494413
寧夏、甘肅、西藏、青海
何傳武
025-83700385-8086
13601464646
河南辦事處
劉宏
(河南辦事處 主任)
 
13333831976
湖北辦事處
周俊
(湖北辦事處)
 
13995587166
貴州辦事處
湯添智
(貴州辦事處)
13602805009
重慶辦事處
曾娟
(重慶辦事處)
13628383332
安徽辦事處
曹先操
18905605095


教育行業代理

區域/行業 代理商 區域/行業 代理商
安徽省教育行業代理 安徽康源物聯信息科技有限公司(總代理) 福建教育行業代理 福建東方銳智教育科技有限公司
安徽盛馳信息科技有限公司 甘肅教育行業代理 西北師范大學(蘭州微費電子科技有限公司)
廣東省教育行業代理 廣州松子智能科技服務有限公司 廣西教育行業代理 廣西國邦志成科技有限公司(總代理)
廣州萬維視景科技有限公司 廣西智慧城市科技有限公司
貴州省教育行業代理 貴州普創大數據科技有限公司(總代理) 廣西中藍信息工程有限公司
內蒙古省教育行業代理 內蒙古萬富圣達教育科技有限公司(總代理) 南寧西大思科軟件有限責任公司
河北省教育行業代理 河北惠美電子科技有限公司 河南教育行業代理 河南奇酷網絡工程有限公司
析牛(北京)科技有限責任公司 鄭州楓葉科技有限公司(總代理)
石家莊展思科技有限公司 上海微贏信息科技有限公司
湖北省教育行業代理 武漢飛鳥云科技有限公司 湖南教育行業代理 湖南啟云信息科技有限公司
武漢市興鑫高科技發展有限公司 湖南神州宜達信息技術有限公司
武漢偉福賽思電子有限公司 湖南紫薇垣信息系統有限公司
武漢未來空間科技有限公司 長沙眾元網絡有限公司
武漢云中點信息科技有限公司 山西教育行業代理 太原太工天宇教育科技有限公司(總代理)
江蘇省教育行業代理 南京八星網絡科技有限公司 遼寧教育行業代理 遼寧新淞信息技術有限公司(總代理)
南京翼馬數控機床有限公司 沈陽稀有金屬研究所
無錫微迪艾科技有限公司 沈陽中港石化有限公司
江西省教育行業代理 江西臻宸科技有限公司 浙江教育行業代理 杭州帆若信息科技有限公司
南昌鼎秀信息技術有限公司 浙江掌尊信息科技有限公司(總代理)
陜西省教育行業代理 陜西精測電子儀器有限公司(總代理) 上海教育行業代理 上海秉渡教育科技有限公司
陜西朗益通科技有限公司 上海玖數軟件有限公司
西安普飛特科技有限公司 尊虞教育科技(上海)有限公司
山東省教育行業代理 山東利揚大數據科技有限公司 重慶教育行業代理 重慶八城科技有限公司(總代理)
山東今領教育科技有限公司(總代理) 重慶閃易科技有限公司
濟南舜意望特管理咨詢有限公司 重慶卓合科技有限公司
青島華星科電子設備有限公司 四川教育行業代理 成都優越教育咨詢有限公司(總代理)
北京美國英語語言學院 云南省教育行業代理 云南磐恩科技有限公司


校企合作

校企合作基地 北京華科云創大數據科技有限公司
校企合作核心合作伙伴 河南源之點信息技術有限公司
河南省融創教育科技有限公司
濟南凰富信息科技有限公司
杭州瑞楠信息技術有限公司
長沙市眾元網絡技術有限公司
武漢明德云智教育科技有限公司
無錫大云教育科技有限公司


公安行業代理

區域/行業 代理商 聯系人 手機號 郵 箱
山東省公安行業代理 山東聞遠通信技術有限公司 戴宇 18761674128 [email protected]
山東尊啟信息技術有限公司 張為曉 13954141334 [email protected]
山東融御中安信息安全有限公司 趙慧奇 18660862096 [email protected]
海南省公安行業 海南怡盟電子科技有限公司(總代理) 熊桂霞 15298946071 [email protected]
海南阿福企業策劃有限公司 黃振福 18789630559 [email protected]
浙江省公安行業代理 杭州聯洲科技有限公司 史慧平 189681山東11選59山東11選5 [email protected]
杭州寧杭信息技術有限公司 許其元 13738038938 [email protected]
福建省公安行業代理 杭州寧杭信息技術有限公司 許其元 13738038938 [email protected]
貴州省公安行業總代理 北京云教互動科技有限公司貴州分公司 穆俊玲 17311090120
江蘇省公安行業代理 徐州麒麟物聯網科技有限公司 遲明秋 15862186070 [email protected]
陜西省公安行業總代理 陜西樂享電子科技股份有限公司 張化斌 13909215859 [email protected]
安徽省公安行業總代理 南京點道數據科技有限公司 李天宇 15951823701 [email protected]
河北省公安行業代理 河北惠美電子科技有限公司 張慧 15283231728 [email protected]
重慶市公安行業代理 重慶貴飛科技有限公司 秦龍 18623001736 [email protected]
河南省公安行業代理 河南翰林網絡技術開發有限公司 張磊 15617216616 [email protected]
四川省公安行業總代理 成都國策正義文化傳媒中心 李斌 18620323772 [email protected]
山西省公安行業代理 中泰鼎晟(北京)科技有限公司 田澤雨 138351775山東11選5 [email protected]
內蒙古公安行業代理 中泰鼎晟(北京)科技有限公司 田澤雨 138351775山東11選5 [email protected]


誠征全國代理    總機:400-山東11選555-360

負責人
分 機
手機號
郵 箱
騰訊QQ
楊  劍
8030
18751869256
分享到: 微信 QQ空間 人人網
閱讀:19243次


版權所有 © 2011-2019 南京云創大數據科技股份有限公司(股票代碼:835305), 保留一切權利。  
云創大數據-專業的云存儲、大數據、云計算產品供應商