DorisDB安装

wuxuan.chai

发布于：May 28, 2021

一、机器准备

Frontend节点
- 机器配置
  
  16 Intel(R) Xeon(R) CPU E7- 4807 @ 1.87GHz
  
  16G 300G
  
  10.200.50.32
Backend节点
- 机器配置
  - be-01
    
    8 Intel Core Processor (Broadwell)
    
    24G 500G
    
    10.200.50.31
  - be-02
    
    8 Intel Core Processor (Broadwell)
    
    24G 500G
    
    10.200.50.16

机器需要支持CPU需要支持AVX2指令集，

1	cat /proc/cpuinfo \|grep avx2

若有输出，则表明支持。否则表明不支持。Doris响亮话

关闭所有机器的内存swap

1	swapoff -a

Release Notes:
https://forum.dorisdb.com/t/topic/236

文档地址:
http://doc.dorisdb.com/

测试FAQ:
http://doc.dorisdb.com/2228586

三、环境搭建

3.1 Frontend环境

3.1.1 Java 8 环境

下载Jdk1.8，添加环境变量

$ vim /etc/profile
# 追加
JAVA_HOME=/var/java//jdk1.8
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME
export PATH

$ source /etc/profile

3.1.2 安装Mysql-client

1 2	$ rpm -ivh https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm $ yum install mysql-community-client.x86_64 -y

3.1.3 配置fe

# 下载（这个链接wget执行报错，用mac下载完成，传到服务器）并解压DorisDB的安装包、copy fe文件夹到适当位置
$ cd ~
$ wget http://dorisdb-release.cdn.dorisdb.com/DorisDB-SE-1.15.1.tar.gz?Expires=1622383610&OSSAccessKeyId=LTAI4GFYjbX9e7QmFnAAvkt8&Signature=lJ%2BDjDl5Y7XzTXXshIGLbiCxCzs%3D
$ mv DorisDB-SE-1.15.1 doris-db
$ cd /usr/etc/ && mkdir -p doris-db
$ cp -r ~/doris-db/fe .

# 设置fe元数据存储位置
$ cd /usr/etc/doris-db/fe && mkdir -p doris-meta

# 配置fe的DORIS_HOME环境变量
$ vim /etc/profile

#追加
export DORIS_HOME=/usr/etc/doris/fe


$ source /etc/profile

3.1.4 启动并测试安装结果

# 启动fe
$ sh sh $DORIS_HOME/bin/start_fe.sh --daemon
# 通过mysql-client连接doris-db
$ mysql -h 127.0.0.1 -P 9030 -u root

# 如果正常进入，则表示启动成功

[root@kvm-5032 fe]# mysql -h 10.200.50.32 -P 9030 -u root
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.0

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

进入网址：http://10.200.50.32:8030/

3.1.5 添加/删除be

# 进入fe
$ mysql -h 10.200.50.32 -P 9030 -u root

# 添加be
$ ALTER SYSTEM ADD BACKEND "10.200.50.16:9050";

# 删除be
$ ALTER SYSTEM DROPP BACKEND "10.200.50.16:9050";

3.1.6 查看当前be的状态

mysql> show backends \G
*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 10.200.50.16
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2021-05-31 11:27:51
        LastHeartbeat: 2021-05-31 11:27:56
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 0
     DataUsedCapacity: .000
        AvailCapacity: 456.262 GB
        TotalCapacity: 487.221 GB
              UsedPct: 6.35 %
       MaxDiskUsedPct: 6.35 %
               ErrMsg:
              Version: 1.15.1-6fb71ad
               Status: {"lastSuccessReportTabletsTime":"2021-05-31 11:27:51"}
1 row in set (0.01 sec)

3.2 Backend环境

3.2.1 Be的环境配置

# 下载（这个链接wget执行报错，用mac下载完成，传到服务器）并解压DorisDB的安装包、copy fe文件夹到适当位置
$ cd ~
$ wget http://dorisdb-release.cdn.dorisdb.com/DorisDB-SE-1.15.1.tar.gz?Expires=1622383610&OSSAccessKeyId=LTAI4GFYjbX9e7QmFnAAvkt8&Signature=lJ%2BDjDl5Y7XzTXXshIGLbiCxCzs%3D
$ mv DorisDB-SE-1.15.1 doris-db
$ cd /usr/etc/ && mkdir -p doris-db
$ cp -r ~/doris-db/be .

# 设置fe元数据存储位置
$ cd /usr/etc/doris-db/fe && mkdir -p doris-meta

# 配置fe的DORIS_HOME环境变量
$ vim /etc/profile

#追加
export DORIS_HOME=/usr/etc/doris/be

$ source /etc/profile

3.2.2 启动并测试安装结果

1 2	# 启动fe $ sh sh $DORIS_HOME/bin/start_fe.sh --daemon

访问地址：http://10.200.50.16:8040/

到此be安装完成

多节点，重复3.1、3.2的操作。Doris-db是一个自运维的MPP架构，整体搭建比较简单。

四、数据测试

4.1 数据库schema创建

mysql> create database db_test;
Query OK, 0 rows affected (0.01 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| _statistics_       |
| db_test            |
| information_schema |
+--------------------+
3 rows in set (0.00 sec)

4.2 数据表

本次测试主要是使用Doris-db的更新模型，Doris-db共有三种模型：

Unique(更新模型)

指定Unique Key，更新模型中, 排序键满足唯一性约束, 成为主键.当相同主键的数据进入，版本号会增加，在查询的时候会进行版本号过滤，选取版本号较高的数据展示
DUPLICATE(明细模型)

存储原始数据
AGGREGATE(聚合模型)

指定维度和聚合方式，当有多条数据具有相同维度时，doris会按照预定的规则进行聚合