搜一下
您現在的位置:首頁 > 熱門文章 > 網易猛犸發布最新版本:統一指標口徑,提升接入效率-企一網

網易猛犸發布最新版本:統一指標口徑,提升接入效率-企一網

2019-12-04 05:40:43 標簽:網易猛犸發布最新版本,統一指標口徑,提升接入效率

  數字化時代,數據已經被許多企業視為核心資產,而對數據的使用也成為企業的核心能力之一,每家企業都希望通過數據產品支撐業務獲取更大的發展空間。然而,許多企業在基礎的數據平臺建設上就已經面臨種種挑戰,網易猛犸大數據平臺,依托網易大數據多年技術沉淀和實踐積累,致力于為企業提供一站式大數據應用開發和數據管理平臺。近日,網易猛犸最新版本正式可用,重點解決企業在數據系統建設過程中,遇到的指標口徑不一致、數據接入效率低、數據管理不夠靈活等問題。

  集成指標系統,統一指標口徑

  許多企業的業務場景中,數據類型豐富,應用種類繁多,但是數據指標命名卻非常的自由,相同的指標名稱會有多個不同的定義和口徑。比如某新零售企業在供應鏈系統、VIPApp和商品運營系統中查詢某款產品的毛利,看到的數據是三個截然不同的數字,這給數據分析工作帶來了極大的困擾。

  網易猛犸的指標系統從業務口徑、計算口徑和數據來源三個層面著手,采用統一的管理規范,包含統一入口登記、助力數據規范定義、助力數據模型規范設計等功能,并引入審批機制。同時,指標系統和應用系統打通,實現了多個不同的應用系統指標的管理一致性,顯著提升了數據分析師的效率。在客戶的實際場景中,最終實現100%消除指標口徑不一致,指標數量減少50%,同時理解一個指標的含義時間縮短80%。

  統一查詢服務,提升數據接入效率

  通過指標系統解決數據不一致、口徑不一致的問題,指標系統創建維度、指標、模型和應用,而統一查詢服務可用于構建他們之間的關系并支持調用接口查看數據。

  網易猛犸的統一查詢服務通過數據 API、訪問日志、授權認證、支持多種查詢引擎、支持邏輯模型等加持,一方面協助指標系統實現100%消除指標口徑不一致,另一方面消除了數據字段變更與應用的強綁定,通過建立數據產品到指標的鏈路追蹤,明確應用到表的訪問鏈路,避免底層表暴露給數據產品,使得數據接入效率提升10倍以上。

  集成單點登錄,實現子系統的全局登錄和登出

  網易猛犸的單點登錄基于認證服務,實現了子系統的全局登錄和登出。比如已經登錄了猛犸平臺,在登錄指標系統時,不需要再次輸入用戶名和密碼,而如果在指標系統執行登出操作,在猛犸平臺也會處于登出狀態,同時,支持業務系統中其他子系統的登陸集成,實現多個子系統只需一套登錄系統管理的目的,從而對登錄狀態有一個全局的把控。

  自助分析功能不斷完善

  網易猛犸最新版的自助取數所支持的語法越發豐富,在控制好個人權限的基礎上,支持更多的SQL語法。此外,還支持SQL語法解析和表分析錯誤的頁面行數可視化定位。自助取數的操作更加友好,由原本報錯不知所云的情況,改變為對錯誤原因定位和翻譯,顯著提高數據分析師的開發效率。

  查詢日志中支持Yarn日志跳轉。在Query的查詢日志中,涉及Yarn的查詢操作,提供Yarn日志鏈接,支持點擊跳轉至Yarn界面,通過App名稱詳細查看執行過程。

  進一步完善數據血緣的定義和查看

  數據血緣是指數據產生的鏈路關系,有助于幫助我們追溯數據質量產生問題的根源。網易猛犸一方面對數據血緣的定義做了進一步完善,比如支持sqoop任務數據血緣,支持MR、Spark、Script添加自定義血緣;另一方面基于數據血緣,完善了調度的依賴功能,可以快速推薦節點,也支持手動搜索添加,使得數據開發人員在任務調度設置時提高了工作效率。

  同時,在任務運維方面,任務列表支持快捷查看血緣,任務血緣支持按照層級選擇,任務血緣的深度越大,更全面的展現與當前任務有關的其他任務的血緣關系。

  此外,網易猛犸本次的產品更新還包括:開始支持Spark 2.3版本,Hadoop也升級至2.9版本;數據質量稽核監控支持自定義SQL創建規則,且增加對表的質量評估功能;數倉管理頁面改造,支持數倉主題域和層級的創建管理等。更多詳情,請登錄網易大數據官網下載白皮書了解。

今晚四不像必中一肖中特图 吉林快3开奖快结果一定 青海11选五预测 广西11选5官方下载 中国体育彩票开奖结果查询 上海11选5一定牛走势图 秒速赛车官网开奖记录 股票融资协议书 河北11选五任三遗漏 广西快3开奖记录查询 天津快乐十分复式投注