配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。

  1. 1
    方法:

    1、配置yarn-site.xml

    配置日志的聚集
  2. 2

    在该文件里面增加如下配置。

    配置日志的聚集
  3. 3

    2、关闭NodeManager 、ResourceManager和HistoryManager

    配置日志的聚集
  4. 4

    3、启动NodeManager 、ResourceManager和HistoryManager

    配置日志的聚集
  5. 5

    4、删除HDFS上已经存在的输出文件

    配置日志的聚集
  6. 6

    5、执行WordCount程序

    配置日志的聚集
  7. 7

    6、查看日志如下三张图所示

    配置日志的聚集
    配置日志的聚集
    配置日志的聚集
    END