存档2019年12月25日

k8s集群管理平台 wayne

### wayne
https://github.com/Qihoo360/wayne.git
架构

说明文档

开发版项目依赖
Golang 1.12+(installation manual)
Docker 17.05+ (installation manual)
Bee (installation manual) (请务必使用链接版本,不要使用 beego 官方版本,存在一些定制)
Node.js 8+ and npm 5+ (installation with nvm)
MySQL 5.6+ (Wayne 主要数据都存在 MySQL 中)
RabbitMQ (可选,如需扩展审计功能,例如操作审计和 Webhooks 等,则需部署)

快速启动
克隆代码仓库
$ go get github.com/Qihoo360/wayne
启动服务
在 Wayne 的根目录下,通过 docker-compose 创建服务
$ docker-compose -f ./hack/docker-compose/docker-compose.yaml up
通过上述命令,您可以从通过 http://127.0.0.1:4200 访问本地 Wayne, 默认管理员账号 admin:admin。
注意:项目启动后还需要配置集群和Namespace等信息才可正常使用。详见 集群配置

由于前后端使用 JWT Token 通信,生产环境一定要重新生成 RSA 文件,确保安全。生成 RSA 加密对命令如下:
$ ssh-keygen -t rsa -b 2048 -f jwtRS256.key
$ # Don’t add passphrase
$ openssl rsa -in jwtRS256.key -pubout -outform PEM -out jwtRS256.key.pub

harbor 镜像仓库

代码仓库
项目网站
离线包下载

安装

  1. 安装 docker
  2. 安装 docker-compose
  3. 下载 harbor
    wget https://github.com/goharbor/harbor/releases/download/v1.10.0/harbor-offline-installer-v1.10.0.tgz
  4. 解压
  5. 创建数据目录
    /data/harbor
  6. 创建CA证书
    /data/harbor/cert

    • 创建CA的证书
      openssl req -newkey rsa:4096 -nodes -sha256 -keyout ca.key -x509 -days 365 -out ca.crt
    • 生成CA证书签名请求
      openssl req -newkey rsa:4096 -nodes -sha256 -keyout harbor.xxx.com.key -out harbor.xxx.com.csr
    • 生成注册主机的证书
    1. 使用域名生成注册主机证书
      openssl x509 -req -days 365 -in harbor.xxx.com.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out harbor.xxx.com.crt
    2. 使用IP生成注册主机证书
      echo subjectAltName = IP:192.168.88.88 > extfile.cnf
      openssl x509 -req -days 365 -in harbor.xxx.com.csr -CA ca.crt -CAkey ca.key -CAcreateserial -extfile extfile.cnf -out harbor.xxx.com.crt
  7. 配制 配置文件 harbor.cfg or harbor.yml

#配置访问的地址
hostname = 198.168.88.88
#使用http方式访问管理界面
ui_url_protocol = http
#配置admin的密码,默认是Harbor12345
harbor_admin_password = 12345
#更改harbor存储路径,默认是/data
secretkey_path = /data/harbor
certificate: /data/harbor/cert/harbor.xxx.com.crt
private_key: /data/harbor/cert/harbor.xxx.com.key
  1. 配置文件docker-compose.yml
  /compose_location/docker-compose.yml
  1. 检测并创建harbor需要文件
    ./prepare
  2. 安装Harbor
    ./install.sh

  3. 保存数据重新安装 (先进入harbor目录)
    docker-compose up -d
    docker-compose down -v
    ./install.sh可以重新安装

默认安装管理Harbor的生命周期

ocker-compose ps 查看
开始、停止、重启
您可以使用docker-compose来管理Harbor的生命周期。一些有用的命令列出如下(必须与docker-compose.yml在同一目录中运行)。
sudo docker-compose start/stop/restart
更新配置
要更改Harbour的配置,请先停止现有的Harbor实例并进行更新harbor.cfg。然后运行prepare脚本以填充配置。最后重新创建并启动Harbor的实例:
sudo docker-compose down -v
sudo vim harbor.cfg
sudo prepare
sudo docker-compose up -d
删除Harbor的容器,同时将镜像数据和Harbor的数据库文件保存在文件系统上
sudo docker-compose down -v
删除Harbor的数据库和镜像数据(用于干净的重新安装)
rm -r /data/database
rm -r /data/registry

  1. 管理界面
    注:默认的用户名admin,密码Harbor12345。

  2. 错误

    • Error response from daemon: Get https://harbor.xxx.com/v1/users/: x509: certificate signed by unknown authority
      centos7系统以上报错的原因是因为自签的证书没有加入到系统级别信任,只需要将harbor.xxx.com.crt拷贝到/etc/pki/ca-trust/source/anchors/reg.你的域名.crt,然后需要执行命令update-ca-trust,最后重启harbor和docker即可!
      ubunt16.04系统以上报错的原因是因为自签的证书没有加入到系统级别信任,只需要将harbor.xxx.com.crt拷贝到/usr/local/share/ca-certificates/reg.你的域名.crt,然后执行命令update-ca-certificates,最后重启harbor和docker即可!
      /usr/share/ca-certificates/reg.你的域名.crt
      图形化配制 dpkg-reconfigure ca-certificates
      client:
      确认证书是 crt 结尾的,不是按照如下命令转换
      $ openssl x509 -inform PEM -in root-ca.cer -out root-ca.crt
      拷贝证书文件到 /usr/local/share/ca-certificates
      $ sudo cp root-ca.crt /usr/local/share/ca-certificates/
      修改ca 配置文件
      编辑 /etc/ca-certificates.conf。文件最后加入 ‘root-ca.crt’。里面文件的位置是相对 /usr/local/share/ca-certificates/
      更新本机的ca 文件
      $ sudo update-ca-certificates
      Mac OS X
      添加证书:
      sudo security add-trusted-cert -d -r trustRoot -k /Library/Keychains/System.keychain ~/new-root-certificate.crt
      移除证书:
      sudo security delete-certificate -c “”
  • Error response from daemon: Get https://192.168.88.88/v2/: dial tcp 192.168.88.88:443: connect: connection refused
    在docker启动文件中添加–insecure-registry信任关系!
    cat /usr/lib/systemd/system/docker.service -> –insecure-registry=harbor仓库IP地址+端口号
    修改docker客户端配置/etc/default/docker
    备注:增加harbor私有仓库地址,告知客户端要连接http的端口
    DOCKER_OPTS=”–selinux-enabled –log-driver=journald –signature-verification=false –insecure-registry=192.168.88.98″
    Server DOCKER_OPTS=”–insecure-registry 192.168.88.98″
    vi /etc/systemd/system/multi-user.target.wants/docker.service
    ExecStart=/usr/bin/dockerd -H fd:// $DOCKER_OPTS
  • denied: requested access to the resource is denied
    vi /etc/docker/daemon.json
    {
    "insecure-registries":["192.168.88.98:5000"],
    "registry-mirrors":["https://cuzn52f3.mirror.aliyuncs.com","https://registry.docker-cn.com","https://reg-mirror.qiniu.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
    }
    vi /etc/default/docker
    DOCKER_OPTS="--insecure-registry 192.168.88.98"
    vi /etc/systemd/system/multi-user.target.wants/docker.service
    可以在systemctl status docker 中查看具体配制文件路径
    ExecStart=/usr/bin/dockerd -H fd:// $DOCKER_OPTS

    删除证书
    $sudo rm -f /usr/local/share/ca-certificates/xinmu.crt
    $sudo update-ca-certificates
    或编辑 /etc/ca-certificates.conf 文件,把证书对应的行删除或注释掉。然后用命令 update-ca-certificates 使之生效。

    1. FYI
      (https://blog.51cto.com/13043516/2287267)
      (http://blog.itpub.net/28624388/viewspace-2153546/)

Docker Compose

Docker Compose 可以轻松、高效的管理容器,它是一个用于定义和运行多容器 Docker 的应用程序工具

安装 Docker Compose

官网
1. 安装 Docker Compose 可以通过下面命令自动下载适应版本的 Compose,并为安装脚本添加执行权限

sudo curl -L "https://github.com/docker/compose/releases/download/1.25.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.4/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

使用工具安装 pip install docker-compose

  1. 查看安装是否成功
    docker-compose -v

快速入门

  1. 打包项目,获得 jar 包 docker-demo-0.0.1-SNAPSHOT.jar
    mvn clean package
  2. 在 jar 包所在路径创建 Dockerfile 文件,添加以下内容
    FROM java:8
    VOLUME /tmp
    ADD docker-demo-0.0.1-SNAPSHOT.jar app.jar
    RUN bash -c ‘touch /app.jar’
    EXPOSE 9000
    ENTRYPOINT [“java”,”-Djava.security.egd=file:/dev/./urandom”,”-jar”,”app.jar”]
  3. 在 jar 包所在路径创建文件 docker-compose.yml,添加以下内容
version: '2' # 表示该 Docker-Compose 文件使用的是 Version 2 file
services:
  docker-demo:  # 指定服务名称
    build: .  # 指定 Dockerfile 所在路径
    ports:    # 指定端口映射
      - "9000:8761"

在 docker-compose.yml 所在路径下执行该命令 Compose 就会自动构建镜像并使用镜像启动容器
docker-compose up
docker-compose up -d // 后台启动并运行容器
访问 http://localhost:9000/hello 即可访问微服务接口

工程、服务、容器

Docker Compose 将所管理的容器分为三层,分别是工程(project)、服务(service)、容器(container)
Docker Compose 运行目录下的所有文件(docker-compose.yml)组成一个工程,一个工程包含多个服务,每个服务中定义了容器运行的镜像、参数、依赖,一个服务可包括多个容器实例
Docker Compose 常用命令与配置

常见命令

ps:列出所有运行容器
docker-compose ps
logs:查看服务日志输出
docker-compose logs
port:打印绑定的公共端口,下面命令可以输出 eureka 服务 8761 端口所绑定的公共端口
docker-compose port eureka 8761
build:构建或者重新构建服务
docker-compose build
start:启动指定服务已存在的容器
docker-compose start eureka
stop:停止已运行的服务的容器
docker-compose stop eureka
rm:删除指定服务的容器
docker-compose rm eureka
up:构建、启动容器
docker-compose up
kill:通过发送 SIGKILL 信号来停止指定服务的容器
docker-compose kill eureka
pull:下载服务镜像
scale:设置指定服务运气容器的个数,以 service=num 形式指定
docker-compose scale user=3 movie=3
run:在一个服务上执行一个命令
docker-compose run web bash
docker-compose.yml 属性

version:指定 docker-compose.yml 文件的写法格式
services:多个容器集合
build:配置构建时,Compose 会利用它自动构建镜像,该值可以是一个路径,也可以是一个对象,用于指定 Dockerfile 参数

““

build: ./dir

build:
context: ./dir
dockerfile: Dockerfile
args:
buildno: 1
command:覆盖容器启动后默认执行的命令

command: bundle exec thin -p 3000

command: [bundle,exec,thin,-p,3000]
dns:配置 dns 服务器,可以是一个值或列表

dns: 8.8.8.8

dns:
– 8.8.8.8
– 9.9.9.9
dns_search:配置 DNS 搜索域,可以是一个值或列表

dns_search: example.com

dns_search:
– dc1.example.com
– dc2.example.com
environment:环境变量配置,可以用数组或字典两种方式
environment:
RACK_ENV: development

SHOW: ‘ture’

environment:
– RACK_ENV=development
– SHOW=ture
env_file:从文件中获取环境变量,可以指定一个文件路径或路径列表,其优先级低于 environment 指定的环境变量

env_file: .env

env_file:
– ./common.env
expose:暴露端口,只将端口暴露给连接的服务,而不暴露给主机
expose:
– “3000”
– “8000”
image:指定服务所使用的镜像
image: java
network_mode:设置网络模式
network_mode: “bridge”
network_mode: “host”
network_mode: “none”
network_mode: “service:[service name]”
network_mode: “container:[container name/id]”
ports:对外暴露的端口定义,和 expose 对应
ports: # 暴露端口信息 – “宿主机端口:容器暴露端口”
– “8763:8763”
– “8763:8763”
links:将指定容器连接到当前连接,可以设置别名,避免ip方式导致的容器重启动态改变的无法连接情况
links: # 指定服务名称:别名
– docker-compose-eureka-server:compose-eureka
volumes:卷挂载路径
volumes:
– /lib
– /var
logs:日志输出信息
–no-color 单色输出,不显示其他颜.
-f, –follow 跟踪日志输出,就是可以实时查看日志
-t, –timestamps 显示时间戳
–tail 从日志的结尾显示,–tail=200
Docker Compose 其它

更新容器

当服务的配置发生更改时,可使用 docker-compose up 命令更新配置
此时,Compose 会删除旧容器并创建新容器,新容器会以不同的 IP 地址加入网络,名称保持不变,任何指向旧容起的连接都会被关闭,重新找到新容器并连接上去
links

服务之间可以使用服务名称相互访问,links 允许定义一个别名,从而使用该别名访问其它服务

version: ‘2’
services:
web:
build: .
links:
– “db:database”
db:
image: postgres
这样 Web 服务就可以使用 db 或 database 作为 hostname 访问 db 服务了