只要三步阿里云DLA帮你处理海量JSON数据

您可能有大量应用程序产生的JSON数据，您可能需要对这些JSON数据进行整理，去除不想要的字段，或者只保留想要的字段，或者仅仅是进行数据查询。

那么，利用阿里云DataLakeAnalytics或许是目前能找到的云上很为便捷的达到这一目标的服务了。仅仅需要3步，就可以完成对海量JSON数据的处理，或者更为复杂的ETL流程。

利用各种手段，将JSON数据投递到OSSs://www.aliyun.com/product/oss）中。

通常，对于云上日志链路，还有一种JSON到OSS的投递链路，可以参考“云原生日志数据分析上手指南”其中的JSON部分。

参考上述“云原生日志数据分析上手指南”，其中已经有海量JSON数据的分区模式建表方法了。本例中，以非分区表为例，假设，数据文件中每一行一个JSON数据，JSON数据放置的OSS路径为：

则，在DLA中执行建表：

json_remove

从JSON中去除指定JSONPath的数据。可以一次处理一个JSONpath，也可以一次处理多个JSONpath。注重：目前还不支持“..”等JSONpath的模糊匹配，不久后会支持。

示例：

json_reserve

从JSON中保留指定JSONPath的数据，去除其他的数据。可以一次处理一个JSONpath，也可以一次处理多个JSONpath。注重：目前还不支持“..”等JSONpath的模糊匹配，不久后会支持。

示例：

还可以利用DataLakeAnalytics强大的云上数据处理能力，进行多源数据融合处理、分析，回流到其他数据库、存储系统中。

更多信息请参考：s://datalakeanalytics.console.aliyun.com/overview

-----------------------------------

本文作者：Roin