跳至主要內容

django 服务部署教程

熊大2022年7月9日pythondjango大约 18 分钟约 5428 字

docker 部署

# 基于 Debian9
FROM python:3.12
LABEL authors="熊大"
USER root

ENV PYTHONUNBUFFERED 1
# 标记为生产环境
ENV PRODUCTION 1
# 启动端口
ENV PROJECT_PORT 19028


RUN mkdir -p /root/project/
WORKDIR /root/project/

RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
# RUN pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
RUN pip install gunicorn gevent

ADD requirements.txt /root/project/
RUN pip install -r requirements.txt
ADD . /root/project/

EXPOSE ${PROJECT_PORT}

#CMD python manage.py runserver 0:${PROJECT_PORT}
CMD gunicorn --worker-connections=1000 --workers=$((`grep processor /proc/cpuinfo | wc -l`*2+1)) --worker-tmp-dir /dev/shm -b 0.0.0.0:${PROJECT_PORT} --access-logfile - conf.wsgi

Gunicorn 部署

本套部署方案采用了：

  1. Gunicorn来运行wsgi应用，采用unix domain socket服务模式
  2. gevent作为worker，采用epoll监听模型
  3. Supervisor作为守护进程管理程序
  4. nginx作为反向代理web服务器

Gunicorn对静态文件的支持不太好，所以生产环境下常用Nginx作为反向代理服务器

Gunicorn概述

Gunicorn是pre-fork worker model架构

  • worker model：意味着这个模型有一个master进程，来管理一组worker进程
  • fork：意味着worker进程是由master进程fork（复刻）出来的
  • pre-：意味着在任何客户端请求到来之前，就已从master进程fork出了多个worker进程，坐等请求到来
  • master进程：不管理也不处理http请求，只负责管理worker进程，对worker进程的创建、销毁、以及根据负载情况增减
  • worker进程：所有worker共用一组listener(Gunicorn支持绑定多个socket)，worker启动时为每个监听器创建一个WSGI Server，实例化了django app，监听端口、接受和解析http请求，调用web app处理，得到处理结果后，再整理成HTTP Response，通过TCP返回给客户端

Gunicorn工作模式

  1. 默认的work_class是sync(同步阻塞的网络模型)，
    • 一个worker进程一次只处理一个请求，后面的请求会堵塞，性能不佳
    • 一个请求一个进程，并发时是非常消耗CPU和内存的，只能适合在访问量不大、CPU密集而非I/O的情形
    • 优点是即使一个worker的进程瘫痪了也只影响到一个请求，不会影响其他的请求
    • 如果是CPU密集型的web app，那么并发请求数量就不重要了，重要的是并行请求数量，可以将worker数改为CPU核数，最大并行请求数量就是核心数，这时候适合sync工作模式
  2. gevent(异步模式，基于Greenlet协程+libev快速事件循环实现的，利用python协程实现)
    • gevent最好的地方在于，当你的web app是同步处理请求时，而你又需要赋予它异步的能力，不需要改代码，只需要打个猴子补丁(monkey patch)，Gevent就会帮你改造Python标准库和一些第三方库，使具备异步处理请求的能力
    • gevent虽然只有一个线程，同时只能处理一个请求，但每个请求的连接是一个Greenlet协程(函数级线程)，可以在IO等待时主动yield出控制权而不阻塞其他请求
    • gevent的线程会变成基于Greentlet的task伪线程，线程数量配置参数threads无效
    • gevent在不同请求间不断切换从而实现并发的方式，很适合于外部IO密集型(访问数据库、访问第三方API)的web app
    • 使用该工作模式需安装：pip install gevent
  3. eventlet(异步模式，基于Greenlet协程实现的)
    • eventlet的线程会变成基于Greentlet的task伪线程，线程数量配置参数threads无效
    • 使用该工作模型需安装：pip install eventlet
  4. tornado(利用Tornado框架实现)
    • 使用该工作模式需安装：pip install tornado
  5. gthread(采用多线程工作模式)
    • gthread是一种全线程worker，worker与线程池保持连接，线程会等待接受请求，一个请求一个线程。可以配置进程数和线程数(threads参数)来控制
    • 应用程序会在每个worker上都加载一次，每个worker上的每个线程都会共享一些内存，但回消耗额外的CPU资源，如果不确定app的内容占用，可以使用gthread模式
    • 使用该工作模式需安装：pip install gthread
  6. gaiohttp(利用aiohttp库实现异步I/O，支持web socket)

Gunicorn使用

  1. 在项目根目录建立配置文件gunicorn.conf.py
gevent模式
import multiprocessing

chdir = '/var/www/demo'  # 运行前切换工作目录，好处是命令行后面可以写app的相对路径

bind = '0.0.0.0:8000'  # 绑定服务的IP和端口
workers = multiprocessing.cpu_count() * 2 + 1  # 进程数量

worker_class = "gevent"  # 进程的工作类型，包括sync（默认）、gevent、eventlet、tornado、gthread、gaiohttp
worker_connections = 1000  # 每个worker的协程最大并发请求数，gevent和eventlet的特殊配置，默认值是1000

daemon = 'false'  # 是否以守护进程启动，交给supervisor管理
proc_name = 'demo_gunicorn'  # 进程名称，默认是gunicorn
errorlog = '/var/log/gunicorn/gunicorn_error.log'  # 错误日志文件存放路径

官方配置说明：进入官方文档

  1. 运行Gunicorn服务
gunicorn -c gunicorn.conf.py  project_name.wsgi:application

提示

上述命令后面的wsgi.py文件路径，请在项目中查找并与之对应

application是wsgi.py文件的一个变量，变量里面装的是web应用
app变量名称如果是application也可以不写到命令，命令选项缺省情况下自动查找该变量

Supervisor 守护进程管理器

概述

Supervisor组成部分：

  1. /etc/supervisord.conf：服务配置文件
  2. supervisord: 服务守护进程
  3. supervisorctl：命令行客户端
  4. Web Server：Web管理客户端界面，默认监听在9091上
  5. XML-RPC Interface：XML-RPC接口

安装：

apt install supervisor
systemctl enable supervisord
systemctl start supervisord

配置文件选项

管理Gunicorn服务

编辑项目内的文件：project_name/devops/supervisor_gunicorn.conf

[include]
files=/etc/supervisord.conf  # 包含全局配置文件

[program:gunicorn_app]  # 应用程序进程名称
directory=/var/www/project_name  # 应用根目录
command=gunicorn -c /var/www/project_name/devops/gunicorn.conf.py  project_name.wsgi:application  # 应用启动命令

官方配置说明：点击进入

supervisorctl命令

# 启动supervisord
supervisord -c project_name/devops/supervisor_gunicorn.conf
# 关闭supervisord
supervisorctl shutdown
# 关闭supervisord
systemctl stop supervisord

supervisorctl reload  # 重启服务并重新加载配置文件，更新配置后执行可生效（命令好用）
supervisorctl update  # 重新加载配置文件，更新配置后执行可生效

# 应用服务管理
supervisorctl start/stop/restart [program_name]/all  # 注意这里不会重新加载配置文件
supervisorctl status  # 查看所子进程状态

如果没有配置-c选项，则会按照以下指定顺序查找supervisord.conf文件，并将使用它找到的第一个文件。

  1. ../etc/supervisord.conf（相对于可执行文件）
  2. ../supervisord.conf（相对于可执行文件）
  3. $CWD/supervisord.conf
  4. $CWD/etc/supervisord.conf
  5. /etc/supervisord.conf
  6. /etc/supervisor/supervisord.conf（从 Supervisor 3.3.0 开始）

报错指南

BACKOFF Exited too quickly (process log may have details)

Supervisor只能管理前台应用程序，如果应用程序是通过fork方式实现的daemon服务， 像Apache Tomcat Nginx服务默认按daemon方式启动(systemctl start nginx)，则不能被管理。

Permission权限问题

有时候提示往/tmp文件夹写入文件提示PermissionErr，检查supervisor配置文件，可以设置为user=root。

exit status 127; not expected

127表示命令没找到，首先可能是directory写错，用cd命令看一下，然后可能是command命令写错，复制命令在控制台试试是否gunicorn无法使用。

WSGI配置

>>> vim wsgi.py
import os
import sys
from django.core.wsgi import get_wsgi_application

BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(BASE_DIR)
#os.environ.setdefault("DJANGO_SETTINGS_MODULE", "project.settings")
os.environ["DJANGO_SETTINGS_MODULE"] = "project.settings"
application = get_wsgi_application()

Nginx web服务器配置

反向代理配置

排坑指南

上传文件时，中文名报错

解决 修改http服务器配置，使用UTF-8字节码：vim /etc/sysconfig/httpd，LANG=en_US.UTF-8

gevent模式与multiprocess多进程库兼容问题

使用gevent模式时，系统会使用monkey patch，系统部分函数会被修改，有些库会兼容gevent的类型， 例如，任务调度的库apscheduler，web socket需要socketio的库等，需要专门选择gevent的函数。 而有些库则直接无法使用，例如多进程multiprocess。 例如，在一个api请求中，如果需要使用多核cpu资源，采用multiprocess进行多进程计算。则会出现卡死的问题。gevent中，不能使用multiprocess库。

懂生活，懂编程
Copyright © 2025 熊大