[Apache Doris Load] hive-2-doris:No source file in this table(xxxx)

数据分析

2020-09-29

859

0

 可能原因:fe通过broker读取hdfs的文件列表时, 返回空文件列表,如下图所示load语句中hdfs文件配置和实际hdfs文件配置:

 

0.12.8.release版本不支持子目录文件形式, 所以导致没有读取到hdfs文件。

 

生成pt 后面目录原因:

tez 运行 union all导致

 

解决方案

修改load脚本,hdfs://xxxx/*, *所属路径中必须是文件, 不能是目录,如果全是目录,则doris认为没有文件需要导入

 

hdfs配置完全按照 hdfs 格式配置就好了

/bigdata_dw/vk_dwd/vk_dwd_evt_qos_invoker_classroom_info_history_merge_da/pt=20200719/HIVE_UNION_SUBDIR_*/*

 

欢迎添加微信,互相学习↑↑↑ -_-

发表评论

全部评论:0条

白老虎

programming is not only to solve problems, ways to think