1
import os
2
import boto3
3
import schedule
4
import time
5
from datetime import datetime
6
from botocore.exceptions import NoCredentialsError, PartialCredentialsError
7

8
# ===================== 配置部分 =====================
9
DIRECTORY_TO_UPLOAD = '/path/to/your/local_directory'  # 本地需要上传的目录
10
S3_BUCKET_NAME = 'your-s3-bucket-name'  # S3 桶名称
11
ALIST_S3_ENDPOINT = 'http://YOUR_IP:YOUR_PORT'  # Alist S3 的 IP + 端口
12
AWS_ACCESS_KEY_ID = 'YOUR_AWS_ACCESS_KEY_ID'  # Alist S3 的访问密钥
13
AWS_SECRET_ACCESS_KEY = 'YOUR_AWS_SECRET_ACCESS_KEY'  # Alist S3 的密钥
14
UPLOAD_INTERVAL_MINUTES = 60  # 每隔 60 分钟上传一次
15
UPLOAD_NOW = True  # 设置为 True 表示立即上传, False 表示不立即上传
16
SCHEDULED_UPLOAD = True  # 设置为 True 表示定期上传，False 表示仅执行一次上传
17
CUSTOM_FOLDER_NAME = 'your-custom-folder'  # 手动设置的主文件夹名称
18
# ===================== 配置部分结束 =====================
19

20
# 初始化 S3 客户端，使用 Alist 的 IP + 端口作为 endpoint_url
21
s3 = boto3.client(
22
    's3',
23
    aws_access_key_id=AWS_ACCESS_KEY_ID,  # 替换为 Alist 的访问密钥
24
    aws_secret_access_key=AWS_SECRET_ACCESS_KEY,  # 替换为 Alist 的密钥
25
    endpoint_url=ALIST_S3_ENDPOINT,  # Alist S3 的 IP + 端口
26
    region_name='us-east-1'  # 区域随意设置一个
27
)
28

29
# 生成 backup+时间 文件夹名称的函数
30
def generate_backup_folder_name():
31
    # 使用当前日期时间生成文件夹名称，例如 'backup-2024-10-04-14-30'
32
    return f"backup-{datetime.now().strftime('%Y-%m-%d-%H-%M')}"
33

34
# 上传目录到 S3 的函数，带有自动生成的 backup+时间子文件夹名称
35
def upload_directory_to_s3(directory_path, bucket_name, custom_folder_name):
36
    try:
37
        # 生成 backup+时间 的子文件夹名称
38
        backup_folder_name = generate_backup_folder_name()
39
        # 在自定义的主文件夹下生成 backup+时间 的子文件夹
40
        full_folder_path = os.path.join(custom_folder_name, backup_folder_name)
41

42
        # 遍历指定目录中的所有文件和子目录
43
        for root, dirs, files in os.walk(directory_path):
44
            for file_name in files:
45
                full_file_path = os.path.join(root, file_name)  # 文件的完整路径
46
                # 定义 S3 中的文件路径，包含主文件夹和 backup+时间 文件夹
47
                s3_file_path = os.path.join(full_folder_path, os.path.relpath(full_file_path, directory_path))
48
                try:
49
                    # 上传文件到 S3
50
                    s3.upload_file(full_file_path, bucket_name, s3_file_path)
51
                    print(f"Uploaded: {full_file_path} to {bucket_name}/{s3_file_path}")
52
                except FileNotFoundError:
53
                    print(f"文件未找到: {full_file_path}")
54
                except NoCredentialsError:
55
                    print("无法找到 S3 凭证。")
56
                except PartialCredentialsError:
57
                    print("提供的 S3 凭证不完整。")
58
    except Exception as e:
59
        print(f"错误: {e}")
60

61
# 调度上传任务的函数
62
def schedule_upload(directory_path, bucket_name, custom_folder_name, interval_minutes):
63
    # 定义调度任务的函数
64
    def job():
65
        print(f"正在上传 {directory_path} 到 S3 桶 {bucket_name}...")
66
        upload_directory_to_s3(directory_path, bucket_name, custom_folder_name)
67

68
    # 安排任务按照指定的时间间隔运行
69
    schedule.every(interval_minutes).minutes.do(job)
70

71
    print(f"已安排每 {interval_minutes} 分钟上传一次。")
72

73
    # 持续运行调度程序
74
    while True:
75
        schedule.run_pending()  # 运行待处理的任务
76
        time.sleep(1)  # 等待 1 秒后检查下一个任务
77

78
# 主函数入口
79
if __name__ == "__main__":
80
    # 如果上传标志为 True，则立即上传一次
81
    if UPLOAD_NOW:
82
        print(f"立即上传 {DIRECTORY_TO_UPLOAD} 到 S3 桶 {S3_BUCKET_NAME}...")
83
        upload_directory_to_s3(DIRECTORY_TO_UPLOAD, S3_BUCKET_NAME, CUSTOM_FOLDER_NAME)
84

85
    # 根据 SCHEDULED_UPLOAD 判断是否定期上传
86
    if SCHEDULED_UPLOAD:
87
        # 启动上传任务的调度
88
        schedule_upload(DIRECTORY_TO_UPLOAD, S3_BUCKET_NAME, CUSTOM_FOLDER_NAME, UPLOAD_INTERVAL_MINUTES)
89
    else:
90
        print("已设置为仅执行一次上传任务。")

1
DIRECTORY_TO_UPLOAD = '/home/user/documents'  # 本地目录
2
S3_BUCKET_NAME = 'my-backup-bucket'  # S3 桶名称
3
ALIST_S3_ENDPOINT = 'http://192.168.1.100:9000'  # Alist S3 服务 IP 和端口
4
AWS_ACCESS_KEY_ID = 'ABCD1234EXAMPLE'  # 访问密钥
5
AWS_SECRET_ACCESS_KEY = 'abcd1234secretEXAMPLE'  # 密钥
6
UPLOAD_INTERVAL_MINUTES = 30  # 每 30 分钟上传一次
7
UPLOAD_NOW = True  # 立即上传
8
SCHEDULED_UPLOAD = True  # 定期上传
9
CUSTOM_FOLDER_NAME = 'my-backups'  # 主文件夹名称

1
S3_BUCKET_NAME/my-backups/backup-2024-10-04-14-30/file1.txt
2
S3_BUCKET_NAME/my-backups/backup-2024-10-04-14-30/file2.txt