欢迎光临
我们一直在努力

Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

导读:毋庸置疑,数据备份是网站可持续性运营中至关重要的一个工作,如果还没有做任何备份机制的网站,建议尽早完善,莫要等到追悔莫及。本文将分享一个安全稳定、快速可靠、花费廉价的备份方案。

Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

一、优点分析

三叶运维在 2 年前已经分享过一篇关于网站备份的文章:《Linux/vps 本地七天循环备份和七牛远程备份脚本》,今天将再次结合这个脚本,将网站数据通过阿里云内网备份到阿里云 OSS。

对于阿里云 OSS,想必大家都不会陌生,具体功能、特色这里就不赘述了。而利用阿里云 OSS 备份数据的教程方法,网络上已有不少分享,各种开发语言都有,用起来非常方便。

在我看来,用什么语言都是其次,主要还是看重了阿里云 ECS 到阿里云 OSS 可以走内网,相比我之前分享的备份到七牛的方案,速度更快而且流量免费!

我博客之前一直将数据每周一凌晨备份一份到七牛,也不敢每天都备份,因为备份的时候由于服务器上行带宽只有 1M,就算是切片上传也会导致此时网站访问缓慢,影响蜘蛛抓取!所以,当我看到 OSS 可以走内网时,第一个想到的好处就是速度快,不影响服务器公网带宽,对网站的访问毫无影响,超赞!

因此,只建议部署在阿里云 ECS(9 折优惠码:r9itz9,新购可用)的网站使用 OSS 来备份,其他产品还要走外网备份到 OSS 就得不偿失了,还不如用七牛。

二、准备工作

①、开通 OSS,并创建备份 Bucket

访问阿里云 OSS 控制台,点击开通 OSS,然后新建一个 Bucket(名称自定义),注意选择 ECS 相同的区域(比如青岛的 ECS 我就选择华北 1),并且选择私有读写权限:Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

②、创建认证密钥

在 OSS 控制台的右侧栏,点击安全令牌,创建用于管理 OSS 的密钥对:Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

创建得到的密钥对记得备忘一下,因为只能获取一次:Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

2016-10-29 补充:看到倡萌的实践分享,他遇到从 OSS 界面申请的密钥居然不具备 OSS 访问权限,所以这里也“盗图”补充一下,如果密钥没有权限请如图添加即可:Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

三、SDK 脚本

我根据 OSS 的帮助文件,选择了适用范围最广的 Python SDK 方案,并且额外加入了断点续传和上传百分比功能,测试成功。

①、环境准备

OSS 的 Python SDK 需要用到 oss2 插件,所以我们先安装一下。

如果服务器上已经安装了 pip 工具,可直接执行如下命令安装 oss2 插件:

若没有,则复制以下命令行到服务器上执行安装:

②、上传脚本

使用方法:将上述代码保存为 oss.upload.py,并上传到服务器,执行如下命令可开始上传文件到 OSS:

其中:

  • 1~2 个参数是认证 ID 和认证密钥就是前文创建并备忘的密钥对。
  • 第 3 个参数是青岛区域的 OSS 内网地址,其他区域请参考OSS 帮助文档,自行选择。
  • 第 4 个参数是前文创建的 Bucket 名称,比如 mybackup1
  • 第 5 个参数是要上传的本地文件的绝对路径

执行后,就能在 OSS 的 Object 界面看到了:Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站

③、下载脚本

其实只需要有个上传脚本即可,因为备份文件可直接从 Object 界面下载。不过,为了方便在服务器上直接恢复文件,还是弄了一个下载脚本。

使用方法:

将上述代码保存为 oss.download.py,并上传到服务器,执行如下命令就可以下载 OSS 文件到本地:

其中:

  • 1~2 个参数是认证 ID 和认证密钥就是前文创建并备忘的密钥对。
  • 第 3 个参数是青岛区域的 OSS 内网地址,其他区域请参考OSS 帮助文档,自行选择。
  • 第 4 个参数是前文创建的 Bucket 名称,比如 mybackup1
  • 第 5 个参数是存储在 OSS 的文件名称
  • 第 6 个参数是保存到本地的文件绝对路径,若不指定则以相同名称保存到脚本相同目录。

好了,以上只是一个上传和下载的脚本,如果你之前已经有了成熟的备份方案,并且本地存储了备份文件,则可以使用上传脚本,结合 crontab 定时上传到 OSS,如果没有请继续往下看。

四、定时备份

有了上传脚本,就可以结合之前三叶运维分享的七天循环备份脚本,实现循环备份到 OSS 了,既安全还节省 OSS 空间。

Ps:实际上,一个 Python 脚本就可以搞定备份压缩和远程上传 OSS 了,但是之前已经有一个现成的 Shell 备份脚本了,我就懒得重复造轮子了!

①、适合 OSS 的七天循环备份脚本

2016 年 12 月 16 日更新:

1、完善 crontab 环境变量,解决定时执行中因 mysqldump 不存在导致备份文件为空的问题;

2、重写 Shell 脚本,功能没什么变化,也就是看得更顺眼一些。

②、使用方法

将上述代码作如下修改:

I、根据实际情况修改上述代码中的 OSS 上传函数代码,比如密钥对和 Bucket 名称(参考前文)

II、替换代码中的 mypassword 为自己设置的压缩包密码,不修改的话压缩文件解压密码为 mypassword

然后,将代码保存为 backup.sh,上传到服务器(建议存放到和前文 python 脚本的相同目录),比如 /data/backup.sh,最后如下添加定时任务:

本文就不赘述 7 天循环备份脚本的功能和更详细的使用方法了,若还是不清楚请参考前文:Linux/vps 本地七天循环备份和七牛远程备份脚本

全部完成后,就能实现本地 7 天循环备份和 OSS 远程备份了!如果,之前已经做了七牛远程备份的可以放心取消了。

在文章的最后,为了方便广大代码小白朋友,特提供本文涉及脚本的打包下载:

折腾吧,骚年!好用的话,有钱的可以打赏,没钱的欢迎点赞,不怕一万多,不嫌一块少。。。

文件下载

赞(0) 打赏
未经允许不得转载:jobman » Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

联系我们