原文
整个Doris Fe的启动是通过start_fe.sh调用org.apache.doris.PaloFe.main(String[] args)函数开始的. main()函数中初始化和启动了Fe全部的服务, 如下图所示:
下面一次简单讲解这个图中发生的核心初始化逻辑: PaloFe.java的初始化过程, 其他类的初始化见其他文章
处理启动参数
这里主要通古偶parseArgs(args)方法将 [start_fe.sh](/article/46) 传递过来的参数转化为CommandLineOptions对象, 方便后续处理. 比如第7点.
处理PID文件
pid文件主要是防止启动相同的Fe进程. 在启动Fe时会检查pid文件所在目录是否存在fe.pid文件, 存在的话告诉用户已经启动一个进程了. 不存在的话则获取当前Fe启动进程号, 写入该文件.
加载fe.conf
fe.conf我们都知道是Fe的配置文件, 通过以下代码将fe文件路径传入init()方法后初始化.
new Config().init(dorisHomeDir + "/conf/fe.conf");
这个方法以Properties文件的格式读取fe.conf文件, 并将内容加载到ConfigBase.java类中的一个静态变量props中.
public static Properties props;
public static Class<? extends ConfigBase> confClass;
public void init(String propfile) throws Exception {
props = new Properties();
confClass = this.getClass();
props.load(new FileReader(propfile));
replacedByEnv();
setFields();
}
confClass = this.getClass(): 这个主要是获取当前类的class信息, 并保存到全局变量confClass中, 这里是Config.java的class, 以待后用.
replacedByEnv(): 这个方法会将配置文件中的配置value为shell变量的的数据从系统环境变量中取出, 替换为真实的值保存在props中. 为啥这么做呢, 目前我还有点没有想明白.(难解1).
setFields(): 这个方法会将配置加载完成的props变量中的key、value按照key名字与Config.java中打了@ConfField标记的字段名相同的方式, 设置对应的value. 具体是通过setConfigField()方法设置的具体value.
校验java版本
这个比较简单, 主要代码在JdkUtils.checkJavaVersion()中, 大家可以自行查看.
初始化日志配置
这里通过Log4jConfig.initLogging()方法实现, 逻辑比较简单, 唯一难解的是log4j的配置文件模板是HARD CODE在java代码中的, 从目前java的方便处理和主要处理方法来看, 基本都是放在一个配置文件中.
这里也有一个非常棒的地方, 每个模块可以单独配置日志生效级别, 原理是log4j的verbose modules机制, 具体是实现方式可以google关键字: StrSubstitutor+Interpolator了解
DNS缓存过期设置
java.security.Security.setProperty("networkaddress.cache.ttl" , "60");
7.处理bdb查看命令
在PaloFe.java中, 可以通过命令行查看当前doris Fe的编译信息和bdb中的一些信息. 主要通过dorischeckCommandLineOptions()方法实现.
if (cmdLineOpts.isVersion()) {
System.out.println("Build version: " + Version.DORIS_BUILD_VERSION);
System.out.println("Build time: " + Version.DORIS_BUILD_TIME);
System.out.println("Build info: " + Version.DORIS_BUILD_INFO);
System.out.println("Build hash: " + Version.DORIS_BUILD_HASH);
System.out.println("Java compile version: " + Version.DORIS_JAVA_COMPILE_VERSION);
System.exit(0);
}
BDBTool bdbTool = new BDBTool(Catalog.getCurrentCatalog().getBdbDir(), cmdLineOpts.getBdbToolOpts());
if (bdbTool.run()) {
System.exit(0);
} else {
System.exit(-1);
}
初始化Fe服务
这里是通过调用FrontendOptions.init()方法实现的, 逻辑是获取了当前服务器可以提供Fe服务的ip或者host.
初始化Fe执行环境
这里的执行环境, 我理解为主要是jdbc协议的执行环境. 通过ExecuteEnv.setup()方法实现. ConnectScheduler.java这个类是jdbc连接管理的主要场地, 这里规定了最大的jdbc连接数, 这些连接如何执行(线程池)、如何验证用户、如何授权等.
Catalog初始化
这个是Fe中最复杂的一个初始化, 通过Catalog.getCurrentCatalog().initialize(args)方法初始化. 这里面主要初始化了元数据加载、editlog回放等, 后面会单独讲解.
启动Qe服务
Fe Thrift服务
Http服务
这些是Fe中的核心服务,
注册线程池监控器
Fe中很多服务是通过线程池初始化的并执行的, 这里初始化了这些线程池的核心监控指标管理器.
欢迎添加微信,互相学习↑↑↑ -_-
白老虎
programming is not only to solve problems, ways to think
grafana 级连 菜单 templating (variables) 配置
AI 机器人 抓取 微信 聊天中的 百度网盘 分享地址和密码
rocketmq 集群搭建 (2master + 2slave + 2namesrv)