基于MaxCompute InformationSchema进行冷门表热门表访问分析

  • 时间:
  • 浏览:1
  • 来源:大发彩票快三—大发彩票app

删剪步骤如下:1、热门数据通过获取tasks_history表里的input_tables字段的删剪信息,然

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;由于您发现本社区中有 涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

一、需求场景分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望还都能否利用元数据的分析来更好地掌握不同数据表的使用情况报告,从而优化数据模型。

一另一个MaxCompute项目中一直 使用的表简称为热门表,使用次数较少由于很长时间不使用的表简称为冷门表,本文将介绍如可去通过MaxCompute元数据信息去分析热门表和冷门表。

二、方案设计思路MaxCompute Information_Schema提供了项目中全量的表元数据信息Tables以及中有 访问表的作业明细数据tasks_history,通过汇总各个表被作业访问的次数还都能否获知不同表被作业使用的频度。