Docker-compose 八步部署Django + Uwsgi + Nginx + MySQL + Redis升级篇

Django在生产环境的部署还是比较复杂的, 令很多新手望而生畏, 幸运的是使用Docker容器化技术可以大大简化我们Django在生产环境的部署并提升我们应用的可移植性。Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux机器上。

 

前文我们介绍了如何使用docker-compose八步部署Django + Uwsgi + Nginx + MySQL + Redis (多容器组合),但该教程里有很多值得改进的地方,比如:

 

  • MySQL的数据库名,用户名和密码明文写在docker-compose.yml里,实际是可以由.env文件创建的;
  • MySQL使用的版本比较老,为5.7。如果你使用MySQL 8,那么相关配置文件需要做较大修改;
  • Nginx配置文件没有挂载,每次修改需要手动将配置文件从宿主机复制一份到容器内;
  • 容器间通信使用了–links选项,这个docker已不推荐使用。本例将使用networks实现容器间通信;
  • 原文每次web容器服务启动后,需要手动进入容器内部进行数据迁移并启动uwsgi服务;
  • 原文教程排错机制讲的较少,本文将仔细讲下如何在Docker部署时排错。

本文将是docker-compose部署Django + Uwsgi + Nginx + MySQL + Redis教程的升级版,将完善前面教程不足的地方,很多配置文件将会有非常大的参考价值,建议先收藏再阅读。

 

注意:本文侧重于Docker技术在部署Django时的实际应用,而不是Docker基础教程。对Docker命令不熟悉的读者们建议先学习下Docker及Docker-compose基础命令。

Docker-compose 八步部署Django + Uwsgi + Nginx + MySQL + Redis升级篇

什么是docker-compose及docker-compose工具的安装

Docker-compose是一个用来定义和运行复杂应用的 Docker 工具。使用 docker-compose 后不再需要使用 shell 脚本来逐一创建和启动容器,还可以通过 docker-compose.yml 文件构建和管理复杂多容器组合。

Docker-compose的下载和安装很简单,网上有很多教程,我就不再详述了。这里只记录下ubuntu系统下docker-compose的安装过程。

 # Step 1: 以ubuntu为例,下载docker-compose $ sudo curl -L https://github.com/docker/compose/releases/download/1.17.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose # Step 2: 给予docker-compose可执行权限 $ sudo chmod +x /usr/local/bin/docker-compose # Step 3: 查看docker-compose版本 $ docker-compose --version

注意:安装docker-compose前必需先安装好docker。

Django + Uwsgi + Nginx + MySQL + Redis组合容器示意图

本例中我们将使用docker-compose编排并启动4个容器,这更接近于实际生成环境下的部署。

  1. Django + Uwsgi容器:核心应用程序,处理动态请求

  2. MySQL 容器:数据库服务

  3. Redis 容器:缓存服务

  4. Nginx容器:反向代理服务并处理静态资源请求

这四个容器的依赖关系是:Django+Uwsgi 容器依赖 Redis 容器和 MySQL 容器,Nginx 容器依赖Django+Uwsgi容器。为了方便容器间的相互访问和通信,我们使用docker-compose时可以给每个容器取个别名,这样访问容器时就可以直接使用别名访问,而不使用Docker临时给容器分配的IP了。

这四个容器的别名及通信端口如下图所示:

Docker-compose 八步部署Django + Uwsgi + Nginx + MySQL + Redis升级篇

Docker-compose部署Django项目布局树形图

我们新建了一个compose文件夹,专门存放用于构建其它容器镜像的Dockerfile及配置文件。compose文件夹与django项目的根目录myproject同级。这样做的好处是不同的django项目可以共享compose文件夹。

myproject_docker # 项目根目录├── compose # 存放各项容器服务的Dockerfile和配置文件│   ├── mysql│   │   ├── conf│   │   │   └── my.cnf # MySQL配置文件│   │   └── init│   │       └── init.sql # MySQL启动脚本│   ├── nginx│   │   ├── Dockerfile # 构建Nginx镜像所的Dockerfile│   │   ├── log # 挂载保存nginx容器内日志log目录│   │   ├── nginx.conf # Nginx配置文件│   │   └── ssl # 如果需要配置https需要用到│   ├── redis│   │   └── redis.conf # redis配置文件│   └── uwsgi # 挂载保存django+uwsgi容器内uwsgi日志├── docker-compose.yml # 核心编排文件└── myproject # 常规Django项目目录    ├── Dockerfile # 构建Django+Uwsgi镜像的Dockerfile    ├── apps # 存放Django项目的各个apps    ├── manage.py    ├── myproject # Django项目配置文件    │   ├── asgi.py    │   ├── __init__.py    │   ├── settings.py    │   ├── urls.py    │   └── wsgi.py    ├── pip.conf # 非必需。pypi源设置成国内,加速pip安装    ├── requirements.txt # Django项目依赖文件    ├── .env # 环境变量文件    ├── start.sh # 启动Django+Uwsgi容器后要执行的脚本    ├── media # 用户上传的媒体资源,如果没有需手动创建    ├── static #搜集项目的静态文件夹,如果没有需手动创建    └── uwsgi.ini # uwsgi配置文件

下面我们开始正式部署。

第一步:编写docker-compose.yml文件

修改过的docker-compose.yml的核心内容如下。我们定义了4个数据卷,用于挂载各个容器内动态生成的数据,比如MySQL的存储数据,redis生成的快照、django+uwsgi容器中收集的静态文件以及用户上传的媒体资源。这样即使删除容器,容器内产生的数据也不会丢失。

我们还定义了3个网络,分别为nginx_network(用于nginx和web容器间的通信),db_network(用于db和web容器间的通信)和redis_network(用于redis和web容器间的通信)。

整个编排里包含4项容器服务,别名分别为redis, db, nginxweb,接下来我们将依次看看各个容器的Dockerfile和配置文件。

version: "3"
volumes: # 自定义数据卷  db_vol: #定义数据卷同步存放容器内mysql数据  redis_vol: #定义数据卷同步存放redis数据  media_vol: #定义数据卷同步存放web项目用户上传到media文件夹的数据  static_vol: #定义数据卷同步存放web项目static文件夹的数据
networks: # 自定义网络(默认桥接), 不使用links通信  nginx_network:    driver: bridge  db_network:    driver: bridge  redis_network:     driver: bridge
services:  redis:    image: redis:latest    command: redis-server /etc/redis/redis.conf # 容器启动后启动redis服务器    networks:      - redis_network    volumes:      - redis_vol:/data # 通过挂载给redis数据备份      - ./compose/redis/redis.conf:/etc/redis/redis.conf # 挂载redis配置文件    ports:      - "6379:6379"    restart: always # always表容器运行发生错误时一直重启
  db:    image: mysql    env_file:        - ./myproject/.env # 使用了环境变量文件    networks:        - db_network    volumes:      - db_vol:/var/lib/mysql:rw # 挂载数据库数据, 可读可写      - ./compose/mysql/conf/my.cnf:/etc/mysql/my.cnf # 挂载配置文件      - ./compose/mysql/init:/docker-entrypoint-initdb.d/ # 挂载数据初始化sql脚本    ports:      - "3306:3306" # 与配置文件保持一致    restart: always
  web:    build: ./myproject    expose:      - "8000"    volumes:      - ./myproject:/var/www/html/myproject # 挂载项目代码      - static_vol:/var/www/html/myproject/static # 以数据卷挂载容器内static文件      - media_vol:/var/www/html/myproject/media # 以数据卷挂载容器内用户上传媒体文件      - ./compose/uwsgi:/tmp # 挂载uwsgi日志    networks:      - nginx_network      - db_network        - redis_network     depends_on:      - db      - redis    restart: always    tty: true    stdin_open: true
  nginx:    build: ./compose/nginx    ports:      - "80:80"      - "443:443"    expose:      - "80"    volumes:      - ./compose/nginx/nginx.conf:/etc/nginx/conf.d/nginx.conf # 挂载nginx配置文件      - ./compose/nginx/ssl:/usr/share/nginx/ssl # 挂载ssl证书目录      - ./compose/nginx/log:/var/log/nginx # 挂载日志      - static_vol:/usr/share/nginx/html/static # 挂载静态文件      - media_vol:/usr/share/nginx/html/media # 挂载用户上传媒体文件    networks:      - nginx_network    depends_on:      - web    restart: always

第二步:编写Web (Django+Uwsgi)镜像和容器所需文件

构建Web镜像(Django+Uwsgi)的所使用的Dockerfile如下所示:

# 建立 python 3.9环境FROM python:3.9
# 安装netcatRUN apt-get update && apt install -y netcat
# 镜像作者大江狗MAINTAINER DJG
# 设置 python 环境变量ENV PYTHONDONTWRITEBYTECODE 1ENV PYTHONUNBUFFERED 1
# 可选:设置镜像源为国内COPY pip.conf /root/.pip/pip.conf
# 容器内创建 myproject 文件夹ENV APP_HOME=/var/www/html/myprojectRUN mkdir -p $APP_HOMEWORKDIR $APP_HOME
# 将当前目录加入到工作目录中(. 表示当前目录)ADD . $APP_HOME
# 更新pip版本RUN /usr/local/bin/python -m pip install --upgrade pip
# 安装项目依赖RUN pip install -r requirements/production.txt
# 移除r in windowsRUN sed -i 's/r//' ./start.sh
# 给start.sh可执行权限RUN chmod +x ./start.sh
# 数据迁移,并使用uwsgi启动服务ENTRYPOINT /bin/bash ./start.sh

本Django项目所依赖的requirements.txt内容如下所示:

# djangodjango==3.2# uwsgiuwsgi==2.0.18# mysqlmysqlclient==1.4.6# redisdjango-redis==4.12.1redis==3.5.3# for imagesPillow==8.2.0 

start.sh脚本文件内容如下所示。最重要的是最后一句,使用uwsgi.ini配置文件启动Django服务。

#!/bin/bash# 从第一行到最后一行分别表示:# 1. 等待MySQL服务启动后再进行数据迁移。nc即netcat缩写# 2. 收集静态文件到根目录static文件夹,# 3. 生成数据库可执行文件,# 4. 根据数据库可执行文件来修改数据库# 5. 用 uwsgi启动 django 服务# 6. tail空命令防止web容器执行脚本后退出while ! nc -z db 3306 ; do    echo "Waiting for the MySQL Server"    sleep 3done
python manage.py collectstatic --noinput&&python manage.py makemigrations&&python manage.py migrate&&uwsgi --ini /var/www/html/myproject/uwsgi.ini&&tail -f /dev/null
exec "$@"

uwsgi.ini配置文件如下所示: 

[uwsgi]
project=myprojectuid=www-datagid=www-database=/var/www/html
chdir=%(base)/%(project)module=%(project).wsgi:applicationmaster=Trueprocesses=2
socket=0.0.0.0:8000chown-socket=%(uid):www-datachmod-socket=664
vacuum=Truemax-requests=5000
pidfile=/tmp/%(project)-master.piddaemonize=/tmp/%(project)-uwsgi.log
#设置一个请求的超时时间(秒),如果一个请求超过了这个时间,则请求被丢弃harakiri = 60post buffering = 8192buffer-size= 65535#当一个请求被harakiri杀掉会,会输出一条日志harakiri-verbose = true
#开启内存使用情况报告memory-report = true
#设置平滑的重启(直到处理完接收到的请求)的长等待时间(秒)reload-mercy = 10
#设置工作进程使用虚拟内存超过N MB就回收重启reload-on-as= 1024

第三步:编写Nginx镜像和容器所需文件

构建Nginx镜像所使用的Dockerfile如下所示:

# nginx镜像compose/nginx/Dockerfile
FROM nginx:latest
# 删除原有配置文件,创建静态资源文件夹和ssl证书保存文件夹RUN rm /etc/nginx/conf.d/default.conf && mkdir -p /usr/share/nginx/html/static && mkdir -p /usr/share/nginx/html/media && mkdir -p /usr/share/nginx/ssl
# 设置Media文件夹用户和用户组为Linux默认www-data, 并给予可读和可执行权限,# 否则用户上传的图片无法正确显示。RUN chown -R www-data:www-data /usr/share/nginx/html/media && chmod -R 775 /usr/share/nginx/html/media
# 添加配置文件ADD ./nginx.conf /etc/nginx/conf.d/
# 关闭守护模式CMD ["nginx", "-g", "daemon off;"]

Nginx的配置文件如下所示

# nginx配置文件# compose/nginx/nginx.conf
upstream django {    ip_hash;    server web:8000; # Docker-compose web服务端口}
# 配置http请求,80端口server {    listen 80; # 监听80端口    server_name 127.0.0.1; # 可以是nginx容器所在ip地址或127.0.0.1,不能写宿主机外网ip地址
    charset utf-8;    client_max_body_size 10M; # 限制用户上传文件大小
    access_log /var/log/nginx/access.log main;    error_log /var/log/nginx/error.log warn;
    location /static {        alias /usr/share/nginx/html/static; # 静态资源路径    }
    location /media {        alias /usr/share/nginx/html/media; # 媒体资源,用户上传文件路径    }
    location / {        include /etc/nginx/uwsgi_params;        uwsgi_pass django;        uwsgi_read_timeout 600;        uwsgi_connect_timeout 600;        uwsgi_send_timeout 600;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;        proxy_redirect off;        proxy_set_header X-Real-IP  $remote_addr;       # proxy_pass http://django;  # 使用uwsgi通信,而不是http,所以不使用proxy_pass。    }}

第四步:编写Db (MySQL)容器配置文件

启动MySQL容器我们直接使用官方镜像即可,不过我们需要给MySQL增加配置文件。

# compose/mysql/conf/my.cnf[mysqld]user=mysqldefault-storage-engine=INNODBcharacter-set-server=utf8secure-file-priv=NULL # mysql 8 新增这行配置default-authentication-plugin=mysql_native_password  # mysql 8 新增这行配置
port            = 3306 # 端口与docker-compose里映射端口保持一致#bind-address= localhost #一定要注释掉,mysql所在容器和django所在容器不同IP
basedir         = /usrdatadir         = /var/lib/mysqltmpdir          = /tmppid-file        = /var/run/mysqld/mysqld.pidsocket          = /var/run/mysqld/mysqld.sockskip-name-resolve  # 这个参数是禁止域名解析的,远程访问推荐开启skip_name_resolve。
[client]port = 3306default-character-set=utf8
[mysql]no-auto-rehashdefault-character-set=utf8

我们还需设置MySQL服务启动时需要执行的脚本命令, 注意这里的用户名和password必需和docker-compose.yml里与MySQL相关的环境变量(.env)保持一致。

# compose/mysql/init/init.sqlAlter user 'dbuser'@'%' IDENTIFIED WITH mysql_native_password BY 'password';GRANT ALL PRIVILEGES ON myproject.* TO 'dbuser'@'%';FLUSH PRIVILEGES;

.env文件内容如下所示:

MYSQL_ROOT_PASSWORD=123456MYSQL_USER=dbuserMYSQL_DATABASE=myprojectMYSQL_PASSWORD=password

第五步:编写Redis 容器配置文件

启动redis容器我们直接使用官方镜像即可,不过我们需要给redis增加配置文件。大部分情况下采用默认配置就好了,这里我们只做出了如下几条核心改动:

 # compose/redis/redis.conf # Redis 5配置文件下载地址 # https://raw.githubusercontent.com/antirez/redis/5.0/redis.conf
 # 请注释掉下面一行,变成#bind 127.0.0.1,这样其它机器或容器也可访问 bind 127.0.0.1
 # 取消下行注释,给redis设置登录密码。这个密码django settings.py会用到。 requirepass yourpassword

第六步:修改Django项目settings.py

在你准备好docker-compose.yml并编排好各容器的Dockerfile及配置文件后,请先不要急于使用Docker-compose命令构建镜像和启动容器。这时还有一件非常重要的事情要做,那就是修改Django的settings.py, 提供mysql和redis服务的配置信息。最重要的几项配置如下所示:

 # 生产环境设置 Debug = False Debug = False
 # 设置ALLOWED HOSTS ALLOWED_HOSTS = ['your_server_IP', 'your_domain_name']
 # 设置STATIC ROOT 和 STATIC URL STATIC_ROOT = os.path.join(BASE_DIR, 'static') STATIC_URL = "/static/"
 # 设置MEDIA ROOT 和 MEDIA URL MEDIA_ROOT = os.path.join(BASE_DIR, 'media') MEDIA_URL = "/media/"
 # 设置数据库。这里用户名和密码必需和docker-compose.yml里mysql环境变量保持一致 DATABASES = {     'default': {         'ENGINE': 'django.db.backends.mysql',         'NAME': 'myproject', # 数据库名         'USER':'dbuser', # 你设置的用户名 - 非root用户         'PASSWORD':'password', # # 换成你自己密码         'HOST': 'db', # 注意:这里使用的是db别名,docker会自动解析成ip         'PORT':'3306', # 端口     } }
 # 设置redis缓存。这里密码为redis.conf里设置的密码 CACHES = {     "default": {         "BACKEND": "django_redis.cache.RedisCache",         "LOCATION": "redis://redis:6379/1", #这里直接使用redis别名作为host ip地址         "OPTIONS": {             "CLIENT_CLASS": "django_redis.client.DefaultClient",             "PASSWORD": "yourpassword", # 换成你自己密码         },     } }

第七步:使用docker-compose 构建镜像并启动容器组服务

现在我们可以使用docker-compose命名构建镜像并启动容器组了。

 # 进入docker-compose.yml所在文件夹,输入以下命令构建镜像 sudo docker-compose build # 启动容器组服务 sudo docker-compose up

如果一切顺利,此时你应该可以看到四个容器都已经成功运行了。

Docker-compose 八步部署Django + Uwsgi + Nginx + MySQL + Redis升级篇此时打开你的浏览器,输入你服务器的ip地址或域名指向地址,你就应该可以看到网站已经上线啦。

第八步:排错

初学者使用Docker或Docker-compose部署会出现各种各样的错误,本文教你如何排错。

Nginx容器排错

容器已启动运行,网站打不开,最有用的是查看Nginx的错误日志error.log。由于我们对容器内Nginx的log进行了挂载,你在宿主机的/compose/nginx/log目录里即可查看相关日志。

 # 进入nginx日志目录,一个access.log, 一个error.log cd compose/nginx/log # 查看日志文件 sudo cat error.log

绝大部分网站打不开,Nginx日志显示nginx: connect() failed (111: Connection refused) while connecting to upstreamNginx 502 gateway的错误都不是因为nginx自身的原因,而是Web容器中Django程序有问题或则uwsgi配置文件有问题。

在进入Web容器排错前,你首先要检查下Nginx转发请求的方式(proxy_pass和uwsgi_pass)以及转发端口与uwsgi里面的监听方式以及端口是否一致。

uWSGI和Nginx之间有3种通信方式unix socket,TCP socket和http如果Nginx以proxy_pass方式转发请求,uwsgi需要使用http协议进行通信。如果Nginx以uwsgi_pass转发请求,uwsgi建议配置socket进行通信。

更多关于Nginx和Uwsgi的配置介绍见个人博客:

  • https://pythondjango.cn/python/tools/6-uwsgi-configuration/

  • https://pythondjango.cn/python/tools/5-nginx-configuration/

Web容器排错

Web容器也就是Django+UWSGI所在的容器,是最容易出现错误的容器。如果Nginx配置没问题,你应该进入web容器查看运行脚本命令时有没有报错,并检查uwsgi的运行日志。uwsgi的日志非常有用,它会记录Django程序运行时发生了哪些错误或异常。一旦发生了错误,uwsgi的进程虽然不会停止,但也无法正常工作,自然也就不能处理nginx转发的动态请求从而出现nginx报错了。 

 # 查看web容器日志 $ docker-compose logs web # 进入web容器执行启动命令,查看有无报错 $ docker-compose exec web /bin/bash start.sh # 或则进入web柔情其,逐一执行python manage.py命令 $ docker-compose exec web /bin/bash  # 进入web容器,查看uwsgi是否正常启动 $ ps aux | grep uwsgi  # 进入uwsgi日志所在目录,查看Django项目是否有报错 cd /tmp

另外一个常发生的错误是 docker-compose生成的web容器执行脚本命令后立刻退出(exited with code 0), 这时的解决方案是在docker-compose.yml中包含以下2行,  另外脚本命令里加入tail -f /dev/null是容器服务持续运行。

 stdin_open: true tty: true

有时web容器会出现不能连接到数据库的报错,这时需要检查settings.py中的数据库配置信息是否正确(比如host为db),并检查web容器和db容器是否通过db_network正常通信(比如进入db容器查看数据表是否已经生成)。在进行数据库迁移时web容器还会出现if table exists or failed to open the referenced table ‘users_user’,  inconsistent migration history的错误, 可以删除migrations目录下文件并进入MySQL容器删除django_migrations数据表即可。

数据库db容器排错

我们还需要经常进入数据库容器查看数据表是否已生成并删除一些数据,这时可以使用如下命令:

 $ docker-compose exec db /bin/bash # 登录 mysql -u usernmae -p; # 选择数据库 USE dbname; # 显示数据表 SHOW tables; # 清空数据表 DELETE from tablenames; # 删除数据表,特别是Django migrationstable DROP TABLE tablenames;

小结

本文详细地介绍了如何使用docker-compose工具分七步在生成环境下部署Django + Uwsgi + Nginx + MySQL + Redis。过程看似很复杂,但很多Dockerfile,项目布局及docker-compose.yml都是可以复用的。花时间学习并练习本章内容是非常值得的,一但你学会了,基本上可以10分钟内完成一个正式Django项目的部署,而且可以保证在任何一台Linux机器上顺利地运行。本文最后的排错文章更会助你一臂之力。

注意:整个部署过程如果遇到问题,可以给我们留言或发信息,可以节省你的时间。

相关阅读

Docker部署Django由浅入深系列(下): 八步部署Django+Uwsgi+Nginx+MySQL+Redis

如何在阿里云Ubuntu服务器通过uWSGI和Nginx部署Django项目教程-大江狗原创出品

转自:https://mp.weixin.qq.com/s?__biz=MjM5OTMyODA4Nw==&mid=2247486903&idx=1&sn=5d2172f66c0357ffaefac7c783c80867&chksm=a73c6d8f904be4999d7844a7f70f9d3aa8cc460cd18089f13924711a3261cd4c69d1c7b6933e&scene=132#wechat_redirect

图解 Docker 架构

01 Docker 的总体架构

Docker 是一个 C/S 模式的架构,后端是一个松耦合架构,模块各司其职。下图是它的总体架构图:

图解 Docker 架构

1 用户是使用 Docker Client 与 Docker Daemon 建立通信,并发送请求给后者。

2 Docker Daemon 作为 Docker 架构中的主体部分,首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。

3 Docker Engine 执行 Docker 内部的一系列工作,每一项工作都是以一个 Job 的形式的存在。

4 Job 的运行过程中,当需要容器镜像时,则从 Docker Registry 中下载镜像,并通过镜像管理驱动 Graphdriver 将下载镜像以 Graph 的形式存储。

5 当需要为 Docker 创建网络环境时,通过网络管理驱动 Networkdriver 创建并配置 Docker容器网络环境。

6 当需要限制 Docker 容器运行资源或执行用户指令等操作时,则通过 Execdriver 来完成。

7 Libcontainer 是一项独立的容器管理包,Networkdriver 以及 Execdriver 都是通过 Libcontainer 来实现具体对容器进行的操作。

02 Docker 各模块组件分析

 

2.1 Docker Client「发起请求」

 

1 Docker Client 是 和 Docker Daemon 建立通信的客户端。用户使用的可执行文件为 docker(一个命令行可执行文件),docker 命令使用后接参数的形式来实现一个完整的请求命令(例如:docker images,docker 为命令不可变,images 为参数可变)。

2 Docker Client 可以通过以下三种方式和 Docker Daemon 建立通信:tcp://host:port、unix://pathtosocket 和 fd://socketfd

3 Docker Client 发送容器管理请求后,由 Docker Daemon 接受并处理请求,当 Docker Client 接收到返回的请求相应并简单处理后,Docker Client 一次完整的生命周期就结束了。(一次完整的请求:发送请求→处理请求→返回结果),与传统的 C/S 架构请求流程并无不同。

2.2 Docker Daemon(后台守护进程)

Docker daemon 架构图

图解 Docker 架构

Docker Server 架构图

图解 Docker 架构

1 Docker Server 相当于 C/S 架构的服务端。功能为接受并调度分发 Docker Client 发送的请求。接受请求后,Docker Server 通过路由与分发调度,找到相应的 Handler 来执行请求。

2 在 Docker 的启动过程中,通过包 gorilla/mux 创建了一个 mux.Router 来提供请求的路由功能。在 Golang 中 gorilla/mux 是一个强大的 URL 路由器以及调度分发器。该 mux.Router 中添加了众多的路由项,每一个路由项由 HTTP 请求方法(PUT、POST、GET 或DELETE)、URL、Handler 三部分组成。

3 创建完 mux.Router 之后,Docker 将 Server 的监听地址以及 mux.Router 作为参数来创建一个 httpSrv=http.Server{},最终执行 httpSrv.Serve() 为请求服务。

4 在 Docker Server 的服务过程中,Docker Server 在 listener 上接受 Docker Client 的访问请求,并创建一个全新的 goroutine 来服务该请求。在 goroutine 中,首先读取请求内容并做解析工作,接着找到相应的路由项并调用相应的 Handler 来处理该请求,最后 Handler 处理完请求之后回复该请求。

2.3 Docker Engine

 

5 Docker Engine 是 Docker 架构中的运行引擎,同时也 Docker 运行的核心模块。它扮演 Docker Container 存储仓库的角色,并且通过执行 Job 的方式来操纵管理这些容器。

6 在 Docker Engine 数据结构的设计与实现过程中,有一个 Handler 对象。该 Handler 对象存储的都是关于众多特定 Job 的 Handler 处理访问。举例说明: Docker Engine 的Handler 对象中有一项为:{“create”: daemon.ContainerCreate,},则说明当名为”create” 的 Job 在运行时,执行的是 daemon.ContainerCreate 的 Handler。

Job

1 一个 Job 可以认为是 Docker 架构中 Docker Engine 内部最基本的工作执行单元。Docker 可以做的每一项工作,都可以抽象为一个 Job。例如:在容器内部运行一个进程,这是一个 Job;创建一个新的容器,这是一个 Job。Docker Server 的运行过程也是一个 Job,名为 ServeApi。

2 Job 的设计者,把 Job 设计得与 Unix 进程相仿。比如说:Job 有一个名称、有参数、有环境变量、有标准的输入输出、有错误处理,有返回状态等。

2.4 Docker Registry(镜像注册中心)

 

1 Docker Registry 是一个存储容器镜像的仓库(注册中心),可理解为云端镜像仓库。按 Repository 来分类,docker pull 按照 [repository]:[tag] 来精确定义一个具体的 Image。

2 在 Docker 的运行过程中,Docker Daemon 会与 Docker Registry 通信,并实现搜索镜像、下载镜像、上传镜像三个功能,这三个功能对应的 Job 名称分别为:“search”、”pull” 与 “push”。

3 Docker Registry 可分为公有仓库( Docker Hub)和私有仓库。

2.5 Graph 「Docker 内部数据库」

Graph 架构图

图解 Docker 架构

Repository

1 已下载镜像的保管者(包括下载的镜像和通过 Dockerfile 构建的镜像)。

搜索公众号顶级架构师回复关键字“架构整洁”,获取一份惊喜礼包。

2 一个 Repository 表示某类镜像的仓库(例如:Ubuntu),同一个 Repository 内的镜像用 Tag 来区分(表示同一类镜像的不同标签或版本)。一个 Registry 包含多个Repository,一个 Repository 包含同类型的多个 Image。

3 镜像的存储类型有 Aufs、Devicemapper、Btrfs、Vfs等。其中 CentOS 系统 7.x 以下版本使用 Devicemapper 的存储类型。

4 同时在 Graph 的本地目录中存储有关于每一个的容器镜像具体信息,包含有:该容器镜像的元数据、容器镜像的大小信息、以及该容器镜像所代表的具体 rootfs。

GraphDB

1 已下载容器镜像之间关系的记录者。

2 GraphDB 是一个构建在 SQLite 之上的小型数据库,实现了节点的命名以及节点之间关联关系的记录。

2.6 Driver 「执行部分」

Driver 是 Docker 架构中的驱动模块。通过 Driver 驱动,Docker 可以实现对 Docker 容器执行环境的定制。即 Graph 负责镜像的存储,Driver 负责容器的执行。

Graphdriver

Graphdriver 架构图

图解 Docker 架构

1 Graphdriver 主要用于完成容器镜像的管理,包括存储与获取。

2 存储:docker pull 下载的镜像由 Graphdriver 存储到本地的指定目录( Graph 中 )。

3 获取:docker run(create)用镜像来创建容器的时候由 Graphdriver 到本地 Graph中获取镜像。

Networkdriver

Networkdriver 架构图

图解 Docker 架构

Networkdriver 的用途是完成 Docker 容器网络环境的配置,其中包括:

  • Docker 启动时为 Docker 环境创建网桥。
  • Docker 容器创建时为其创建专属虚拟网卡设备。
  • Docker 容器分配IP、端口并与宿主机做端口映射,设置容器防火墙策略等。

Execdriver

Execdriver 架构图

图解 Docker 架构

1 Execdriver 作为 Docker 容器的执行驱动,负责创建容器运行命名空间、容器资源使用的统计与限制、容器内部进程的真正运行等。

2 现在 Execdriver 默认使用 Native 驱动,不依赖于 LXC。

2.7 Libcontainer 「函数库」

Libcontainer 架构图

图解 Docker 架构

1 Libcontainer 是 Docker 架构中一个使用 Go 语言设计实现的库,设计初衷是希望该库可以不依靠任何依赖,直接访问内核中与容器相关的 API。

2 Docker 可以直接调用 Libcontainer 来操纵容器的 Namespace、Cgroups、Apparmor、网络设备以及防火墙规则等。

3 Libcontainer 提供了一整套标准的接口来满足上层对容器管理的需求。或者说 Libcontainer 屏蔽了 Docker 上层对容器的直接管理。

2.8 Docker Container 「服务交付的最终形式」

Docker Container 架构

图解 Docker 架构

1 Docker Container( Docker 容器 )是 Docker 架构中服务交付的最终体现形式。

2 Docker 按照用户的需求与指令,订制相应的 Docker 容器:

  • 用户通过指定容器镜像,使得 Docker 容器可以自定义 rootfs 等文件系统。

  • 用户通过指定计算资源的配额,使得 Docker 容器使用指定的计算资源。

  • 用户通过配置网络及其安全策略,使得 Docker 容器拥有独立且安全的网络环境。

  • 用户通过指定运行的命令,使得 Docker 容器执行指定的工作。

附:本文在《docker源码分析》基础上进行整理。

如果您喜欢本文,欢迎点击右上角,把文章分享到朋友圈~~
如果有想了解和学习的知识点或技术点,也可以留言给若飞安排分享

·END·

作者:胡伟煌

来源:blog.csdn.net/huwh_/article/details/71308236

如何用web.py+docker来部署keras模型(二)

上一期我们讲到了在自己的本机上运行我们的模型及网页演示,这期我们将如何将我们做好的application部署到别的地方。

我们用到的工具叫 Docker

一、docker介绍

Docker 是一种使用容易部署和运行应用程序的工序。容器使得开发人员可以将应用系统和所需的所有部分(如库和其他依赖项)打包在一起,并将其全部打包为一个软件包。这样,借助容器,开发人员可以放心将该应用程序运行在任何其他linux机器上,而不用管该机器的自定义设置。

某种程度上,Docker有点像虚拟机。但是,与虚拟机不通,Docker无需创建整个虚拟操作系统,而是允许应用系统使用与其所运行的系统相同的Linux内核。这可以显著提高性能并减少应用系统的大小。

二、写 Dockerfile

如何用web.py+docker来部署keras模型(二)

在之前的工作目录里写Dockerfile, 注意这个文件的命名就叫 Dockerfile

#选择系统 FROM ubuntu  #维护人员的联系方式 MAINTAINER rl2987@columbia.edu  LABEL version="1.0"  #输出的端口 EXPOSE 8080  #给docker中文环境 ENV LANG C.UTF-8  #更新ubuntu系统,下载相关的dependency RUN apt-get update RUN apt-get install  libsm6 libxrender1 libxext-dev gcc -y  ##下载Anaconda3 python 环境安装包 放置在程序目录 url地址https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh  #docker工作目录 WORKDIR  /keras-docker  #将当前目录下的全部内容放入docker工作目录 ADD . /keras-docker  #安装anaconda RUN cd /keras-docker && sh -c '/bin/echo -e "nyesnnyes" | sh Anaconda3-2019.03-Linux-x86_64.sh'  #下载python及需要的包 RUN echo -e "ny" | /root/anaconda3/bin/conda install python=3.6.7 RUN echo -e "ny" | /root/anaconda3/bin/conda install -c conda-forge scipy numpy==1.17.2 easydict cython h5py pandas requests beautifulsoup4 RUN echo -e "ny" | /root/anaconda3/bin/conda install -c conda-forge scikit-learn cheroot mahotas joblib RUN /root/anaconda3/bin/pip install tensorflow==1.13.2 keras==2.2.5 RUN /root/anaconda3/bin/pip install web.py==0.40.dev1 opencv-contrib-python==4.0.0.21 pillow==6.2.0  #在docker中删除anaconda的安装文件 RUN rm Anaconda3-2019.03-Linux-x86_64.sh

三、build image

这部分可以先看视频

如何用web.py+docker来部署keras模型(二)build docker imagehttps://www.zhihu.com/video/1181404051319881728

1、build docker

如何用web.py+docker来部署keras模型(二)

 

docker build -t keras-docker:1.0 .

注意最后的那个点是精髓,表示在当前文件夹创建docker, 用当前文件夹内的文件

2、save image to tar file

docker save -o keras-docker_1-0.tar keras_docker:1.0

注意这一步很慢,我等了两分多钟,请耐心等待

四、如何使用

同样先看视频

如何用web.py+docker来部署keras模型(二)run docker imagehttps://www.zhihu.com/video/1181404182735802368

1、打开tar文件

如何用web.py+docker来部署keras模型(二)
docker run -p 8080:8080 keras_docker:1.0 /root/anaconda3/bin/python app.py

这个可是前台运行,可以看到部署的情况
也可以后台运行

docker run -d -p 8080:8080 keras_docker:1.0 /root/anaconda3/bin/python app.py

然后在浏览器中打开

http://0.0.0.0:8080/kind

就可以使用啦!

五、docker image 的下载地址

我已经上传到docker hub上,直接下载就好

docker pull rachelliu/keras_docker:1.0

结束了!
大声回答 爱不爱我!

附上期教程地址:

如何用web.py + docker来部署keras模型(改)


转自:https://zhuanlan.zhihu.com/p/93252460