[Doris核心原理] -- FE启动过程原理分析2 -- 启动类PaloFe.java

数据分析

2021-01-21

32

0

原文
整个Doris Fe的启动是通过start_fe.sh调用org.apache.doris.PaloFe.main(String[] args)函数开始的. main()函数中初始化和启动了Fe全部的服务, 如下图所示:

下面一次简单讲解这个图中发生的核心初始化逻辑: PaloFe.java的初始化过程, 其他类的初始化见其他文章

  1. 处理启动参数

     这里主要通古偶parseArgs(args)方法将 [start_fe.sh](/article/46) 传递过来的参数转化为CommandLineOptions对象, 方便后续处理. 比如第7点.
    
  2. 处理PID文件

     pid文件主要是防止启动相同的Fe进程. 在启动Fe时会检查pid文件所在目录是否存在fe.pid文件, 存在的话告诉用户已经启动一个进程了. 不存在的话则获取当前Fe启动进程号, 写入该文件.
    
  3. 加载fe.conf
    fe.conf我们都知道是Fe的配置文件, 通过以下代码将fe文件路径传入init()方法后初始化.

    new Config().init(dorisHomeDir + "/conf/fe.conf");
    

    这个方法以Properties文件的格式读取fe.conf文件, 并将内容加载到ConfigBase.java类中的一个静态变量props中.

    public static Properties props;  
    public static Class<? extends ConfigBase> confClass;    
    public void init(String propfile) throws Exception {
     props = new Properties();
     confClass = this.getClass();
     props.load(new FileReader(propfile));
     replacedByEnv();
     setFields();
    }
    

    confClass = this.getClass(): 这个主要是获取当前类的class信息, 并保存到全局变量confClass中, 这里是Config.java的class, 以待后用.
    replacedByEnv(): 这个方法会将配置文件中的配置value为shell变量的的数据从系统环境变量中取出, 替换为真实的值保存在props中. 为啥这么做呢, 目前我还有点没有想明白.(难解1).
    setFields(): 这个方法会将配置加载完成的props变量中的key、value按照key名字与Config.java中打了@ConfField标记的字段名相同的方式, 设置对应的value. 具体是通过setConfigField()方法设置的具体value.

  4. 校验java版本
    这个比较简单, 主要代码在JdkUtils.checkJavaVersion()中, 大家可以自行查看.

  5. 初始化日志配置
    这里通过Log4jConfig.initLogging()方法实现, 逻辑比较简单, 唯一难解的是log4j的配置文件模板是HARD CODE在java代码中的, 从目前java的方便处理和主要处理方法来看, 基本都是放在一个配置文件中.
    这里也有一个非常棒的地方, 每个模块可以单独配置日志生效级别, 原理是log4j的verbose modules机制, 具体是实现方式可以google关键字: StrSubstitutor+Interpolator了解

  6. DNS缓存过期设置

    java.security.Security.setProperty("networkaddress.cache.ttl" , "60");
    

    7.处理bdb查看命令
    在PaloFe.java中, 可以通过命令行查看当前doris Fe的编译信息和bdb中的一些信息. 主要通过dorischeckCommandLineOptions()方法实现.

    • 查看FE的编译信息. cmdLineOpts变量是第1点中解析命令行参数的结果. 代码如下:
      if (cmdLineOpts.isVersion()) {
         System.out.println("Build version: " + Version.DORIS_BUILD_VERSION);
         System.out.println("Build time: " + Version.DORIS_BUILD_TIME);
         System.out.println("Build info: " + Version.DORIS_BUILD_INFO);
         System.out.println("Build hash: " + Version.DORIS_BUILD_HASH);
         System.out.println("Java compile version: " + Version.DORIS_JAVA_COMPILE_VERSION);
         System.exit(0);
      }
      
    • cmdLineOpts.runBdbTools(), 如果是运行的bdb工具, 则会根据命令, 去bdb中查询结果, 打印, 关闭控制台. 注意System.exit(0)与System.exit(-1)的区别.
      BDBTool bdbTool = new BDBTool(Catalog.getCurrentCatalog().getBdbDir(), cmdLineOpts.getBdbToolOpts());
      if (bdbTool.run()) {
              System.exit(0);
       } else {
              System.exit(-1);
      }
      
  7. 初始化Fe服务
    这里是通过调用FrontendOptions.init()方法实现的, 逻辑是获取了当前服务器可以提供Fe服务的ip或者host.

  8. 初始化Fe执行环境
    这里的执行环境, 我理解为主要是jdbc协议的执行环境. 通过ExecuteEnv.setup()方法实现. ConnectScheduler.java这个类是jdbc连接管理的主要场地, 这里规定了最大的jdbc连接数, 这些连接如何执行(线程池)、如何验证用户、如何授权等.

  9. Catalog初始化
    这个是Fe中最复杂的一个初始化, 通过Catalog.getCurrentCatalog().initialize(args)方法初始化. 这里面主要初始化了元数据加载、editlog回放等, 后面会单独讲解.

  10. 启动Qe服务
    Fe Thrift服务
    Http服务

    这些是Fe中的核心服务, 
    
    • Qe服务实际上是一个jdbc服务, 也即是执行sql协议层.
    • Fe Thrift服务, 也就是本身的Fe服务, 是一个RPC服务, 可以被Be等远程调用.
    • Http服务, 包含了目前Fe的UI页面, Restful的接口
  11. 注册线程池监控器
    Fe中很多服务是通过线程池初始化的并执行的, 这里初始化了这些线程池的核心监控指标管理器.

欢迎添加微信,互相学习↑↑↑ -_-

发表评论

全部评论:0条

白老虎

programming is not only to solve problems, ways to think