Debian 13 发布一年多了,我这台 VPS 还停在 12.0。reboot-required 里挂着 6.1.0-53 的内核,是上次内核更新之后没重启留下的,挂了好几个月。上面跑着八个容器(Caddy、Vaultwarden、哪吒面板、一个 api 中转、meting 这些)、hysteria2、两个 systemd 管的 Telegram bot,还有一条十分钟跑一次的容器健康检查。东西不多但都很粘手,所以拖到现在。
周日下午没什么事,就把这事做了。全程两个多小时,其中真正在升级的只有七分半,剩下的时间都在准备、检查,以及收拾一个第二天才暴露出来的问题。
准备
这台机器上居然没装 tmux,也没有 screen。远程做发行版升级,这是第一件要补的东西。
apt-get update && apt-get install -y tmux然后是关掉所有会在升级途中插手的定时任务。cron 里有三条有影响:健康检查会重启容器并往 Telegram 发告警,备份脚本会占磁盘和 docker,每周的容器自动更新会动 docker 镜像。先把它们注释掉,保留原文件以便恢复:
crontab -l > /root/crontab.bakcrontab -l | sed -E \ 's|^([^#].*(healthcheck\.sh|backup\.sh|compose-update\.sh).*)$|#PAUSED \1|' | crontab -apt 自己的定时任务也要停。发行版升级最难受的情况就是升到一半被别的 apt 进程抢了 dpkg 锁:
systemctl stop unattended-upgrades.servicesystemctl disable unattended-upgrades.servicesystemctl mask apt-daily.timer apt-daily-upgrade.timer然后跑一次备份,确认 tar 包真的落地了(这次是 66MB,存在 /srv/backups/,那个目录保留七份)。
最后记一份升级前的基线,为的是事后能对比出到底动了什么,顺便也当成回滚时要知道的原状:
dpkg --get-selections > /root/baseline.dpkgsystemctl list-units --type=service --state=running \ --no-legend | awk '{print $1}' > /root/baseline.unitsdocker ps --format '{{.Names}} {{.Image}} {{.Status}}' > /root/baseline.dockerss -tlnp > /root/baseline.listen升级前的状态:内核 6.1.0-52,根分区用掉 8.2G / 29G,内存 960M,已装包 717 个,/boot 是独立分区。
顺手试了件事,不行
我这边出网走的就是这台机器上的 hysteria2,也就是说 SSH 的目的地址和隧道的出口是同一台机器。机器一重启我就跟着断网,直觉上让 SSH 直连会更稳,于是在本机的 mihomo 里加了一条:
- IP-CIDR,203.0.113.10/32,DIRECT,no-resolve热重载成功(HTTP 204),规则也确实进了 index 9,然后连打六次 SSH:成功一次,其余五次全是 Connection closed by 203.0.113.10 port 2222。nc -vz 能连上,TCP 握手是通的,断在 SSH 协议交换阶段,中间链路有针对性的干扰。删掉规则回到隧道,八次全通。
所以重启窗口那一两分钟断网就交给代理自己的 fallback,别去赌直连。更麻烦的是万一直连真在半路断了,现象看起来会像”升级把 SSH 搞坏了”,排查方向从一开始就是错的。
换源
sources.list 里除了官方源,还有 Docker 和 Cloudflare 两个第三方源,升之前先确认它们都发了 trixie:
curl -o /dev/null -s -w '%{http_code}\n' https://download.docker.com/linux/debian/dists/trixie/Release# 200curl -o /dev/null -s -w '%{http_code}\n' https://pkg.cloudflareclient.com/dists/trixie/Release# 200都在,就整体替换。-security、-updates 那几行不用单独处理,同一个 sed 能覆盖:
cp -a /etc/apt/sources.list /etc/apt/sources.list.baksed -i 's/bookworm/trixie/g' /etc/apt/sources.listfor f in /etc/apt/sources.list.d/*.list; do cp -a "$f" "$f.bak" sed -i 's/bookworm/trixie/g' "$f"doneapt-get update升级
按官方推荐分两段。第一段不许增删包,只把现有依赖补一补;第二段才放开,会装新内核、删旧包。这样万一第一段就出问题,机器还停在能正常重启的状态。
export DEBIAN_FRONTEND=noninteractiveexport NEEDRESTART_MODE=a # trixie 默认装了 needrestart,非交互模式不给它值会卡住APTOPTS="-o Dpkg::Options::=--force-confold \ -o Dpkg::Options::=--force-confdef \ -o Acquire::Retries=3"
apt-get $APTOPTS -y upgrade --without-new-pkgsapt-get $APTOPTS -y full-upgrade--force-confold 是关键的一条:sshd_config、sources.list 这类自己改过的配置文件必须保留本机版本。真被包里的默认值覆盖了,SSH 就进不去了。NEEDRESTART_MODE=a 等于对”升级完要不要自动重启受影响的服务”这个问题一直回答 yes,省得在非交互模式下卡在询问上。
脚本丢进 tmux 跑,日志同时写文件,这样 SSH 断了进程也不受影响:
tmux new-session -d -s trixie '/root/phase1-trixie.sh'tail -f /root/trixie-upgrade-*.log从 12:21 跑到 12:28,705 个包 unpack/setup,约七分半。中途 SSH 掉过一次,是 openssh-server 自己被升级重启,早就有心理准备。收尾:
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.dpkg --audit # 空linux-image-amd64 # 6.12.111-1重启之前要确认的事
新内核装上不等于能引导起来。这台是 virtio 的盘,initramfs 里要是没有 virtio_blk 的驱动,现象就是”内核起来了但找不到根分区”,只能进救援模式。所以先看一眼:
lsinitramfs /boot/initrd.img-6.12.111+deb13-amd64 | grep -E 'virtio_(blk|pci|scsi)'
usr/lib/modules/6.12.111+deb13-amd64/kernel/drivers/block/virtio_blk.ko.xzusr/lib/modules/6.12.111+deb13-amd64/kernel/drivers/net/virtio_net.ko.xzusr/lib/modules/6.12.111+deb13-amd64/kernel/drivers/scsi/virtio_scsi.ko.xz再确认 grub 默认项指的是新内核,而且命令行里的 UUID 和 fstab 里的一致:
awk '/menuentry .Debian GNU\/Linux./,/^}/' /boot/grub/grub.cfg | grep -E 'linux|initrd'
linux /vmlinuz-6.12.111+deb13-amd64 root=UUID=17661c03-... ro net.ifnames=0 quietinitrd /initrd.img-6.12.111+deb13-amd64
grep -v '^#' /etc/fstab | grep -v '^$' # 根的 UUID 一样df -h /boot # 772M 可用三样都没问题。重启前不要急着 autoremove —— 旧内核这会儿还是唯一免费的回退入口,等新内核真起来了、业务都验完了再说。这台机器的 GRUB 是那种只能在服务商控制台的 VNC 里操作的菜单01服务商控制台能在开机时进 GRUB 菜单并选旧内核,但那个入口操作起来很别扭,所以这只是”能回退”,不是”很方便回退”。,留着旧内核不算浪费空间。
顺带把这份检查清单丢给一个模型看了一遍,它补了条”确认内核文件和 grub 真的落盘”,这条我查过了;另外提醒别急着 autoremove,这条提醒得对。
重启
systemctl reboot --no-block用 --no-block 是让命令立刻返回,不用等关机流程走完。不然很容易把”连接被切断”当成重启失败,白紧张一次。SSH 在 35 秒之后回来了。
第一轮先看系统:
cat /etc/os-release # Debian GNU/Linux 13 (trixie)uname -r # 6.12.111+deb13-amd64systemctl --failed # 空docker ps # 八个容器都在dpkg --audit # 空apt list --upgradable | tail -n +2 | wc -l # 0容器里有一个例外:有个 restart=on-failure 的边车容器在升级过程中正常退出(exit 0),按它的重启策略不会被拉起来,手动 docker start 一下就好。这类容器不在 unless-stopped 的保护范围内,升级前应该单独列出来。
然后换到外网确认业务是活的,而不只是容器在跑:Caddy 上三个站点都返回 200,订阅文件 12271 字节正常下发,Vaultwarden 的 /api/config 返回正常的 JSON,fail2ban 里零封禁。最后手动跑一次健康检查脚本,退出码 0,也没有告警(它只在有问题的时候才发 Telegram)。
包数从 717 变成 819。
第二天才发现的问题
上面这些都还顺,真正让人不舒服的是这个:机器上有两个 Python venv,都是以前在 bookworm 上建的。Debian 的 venv 建的链接是这样的:
$ ls -l .venv/bin/python3python3 -> /usr/bin/python3 # 不带版本号$ readlink -f .venv/bin/python3/usr/bin/python3.13 # 升级之前解析到的是 python3.11而 site-packages 是按版本号分目录放的,lib/python3.11/site-packages。所以升级一完成,解释器换了,依赖还躺在原来的目录里:
$ .venv/bin/python -VPython 3.13.5$ .venv/bin/python -c "import requests"ModuleNotFoundError: No module named 'requests'venv 目录看上去完好无损,pyvenv.cfg 也在,只有真去 import 第三方库的时候才会炸。这台机器上一个 venv 是每天八点和二十点跑的签到脚本,我发现的时候距离下一个触发点还有八个小时。
修法是重建,不要手工去改那条链接:
python3 -m venv --clear .venv.venv/bin/pip install -r requirements.txtreadlink -f .venv/bin/python3 # /usr/bin/python3.13这样建出来的链接指向带版本号的解释器路径,等下回系统 Python 再换代就不会又漂一次。重建完把依赖版本和 requirements.txt 对了一遍,另一个项目九个依赖全中,入口脚本也过了一遍 py_compile。
顺手记一下怎么排查同类问题:
find / -maxdepth 5 -name pyvenv.cfg 2>/dev/null | while read f; do d=$(dirname "$f"); printf '%s → %s\n' "$d" "$(readlink -f "$d/bin/python")"done输出里解释器带版本号的没事,指向不带版本的 /usr/bin/python3 的,下次系统 Python 换代时都得重建。
收尾
新内核跑通、业务都验完之后,才回来清理和恢复:
apt-mark manual linux-image-6.1.0-53-amd64 # 留着这个旧内核apt-get autoremove --purge -y # 清掉旧内核和 python3.11 的残留
crontab -l | sed 's/^#PAUSED //' | crontab - # 恢复被暂停的定时任务systemctl unmask apt-daily.timer apt-daily-upgrade.timersystemctl enable --now apt-daily.timer apt-daily-upgrade.timer unattended-upgrades.service清理完磁盘用了 9.0G,还剩 19G。健康检查脚本手动跑了一次,确认在 trixie 上照常工作,然后把 cron 交还给它。
还留着的几件事
- 两个 bot 只验到了服务在跑、日志里有
bot online,没有真去发消息测一趟收发。 - 没打整机快照,所以没有整盘的回滚点,退路只有保留的 6.1.0-53 内核,而它得进 VNC 才能选。
- 手机上的 mihomo 订阅没重新推,配置本身没改,不需要推。
- 旧内核 6.1.0-53 先留着,等稳定一段时间再单独 autoremove 一次。
- 修 venv 的时候 SSH 被切过一次,在装 pandas 那一批依赖的时候,原因没细究,补跑一遍就过了。长任务还是放 tmux 里省心。
服务商控制台能在开机时进 GRUB 菜单并选旧内核,但那个入口操作起来很别扭,所以这只是”能回退”,不是”很方便回退”。01
评论
GitHub 登录后可评论。
评论区会在滚动到这里时自动加载。