mirror of
https://devops.liangqichi.top/qichi.liang/Orbitin.git
synced 2026-02-10 07:41:29 +08:00
重构: 完成代码审查和架构优化
主要改进: 1. 模块化架构重构 - 创建Confluence模块目录结构 - 统一飞书模块架构 - 重构数据库模块 2. 代码质量提升 - 创建统一配置管理 - 实现统一日志配置 - 完善类型提示和异常处理 3. 功能优化 - 移除parse-test功能 - 删除DEBUG_MODE配置 - 更新命令行选项 4. 文档完善 - 更新README.md项目结构 - 添加开发指南和故障排除 - 完善配置说明 5. 系统验证 - 所有核心功能测试通过 - 模块导入验证通过 - 架构完整性验证通过
This commit is contained in:
137
README.md
137
README.md
@@ -11,6 +11,7 @@
|
||||
- 支持未统计数据手动录入
|
||||
- 支持二次靠泊记录合并
|
||||
- GUI 图形界面(可选)
|
||||
- 飞书排班表集成(自动获取班次人员)
|
||||
|
||||
## 项目结构
|
||||
|
||||
@@ -25,15 +26,32 @@ OrbitIn/
|
||||
├── debug/ # 调试输出目录
|
||||
│ └── layout_output_*.txt # 带时间戳的调试文件
|
||||
├── data/ # 数据目录
|
||||
│ └── daily_logs.db # SQLite3 数据库
|
||||
│ ├── daily_logs.db # SQLite3 数据库
|
||||
│ └── schedule_cache.json # 排班数据缓存
|
||||
├── logs/ # 日志目录
|
||||
│ └── app.log # 应用日志
|
||||
└── src/ # 代码模块
|
||||
├── __init__.py
|
||||
├── confluence.py # Confluence API 客户端
|
||||
├── extractor.py # HTML 文本提取器
|
||||
├── parser.py # 日志解析器
|
||||
├── database.py # 数据库操作
|
||||
├── config.py # 统一配置管理
|
||||
├── logging_config.py # 统一日志配置
|
||||
├── report.py # 报表生成器
|
||||
└── gui.py # GUI 图形界面
|
||||
├── gui.py # GUI 图形界面
|
||||
├── database/ # 数据库模块
|
||||
│ ├── base.py # 数据库基类
|
||||
│ ├── daily_logs.py # 每日日志数据库
|
||||
│ └── schedules.py # 排班数据库
|
||||
├── confluence/ # Confluence API 模块
|
||||
│ ├── client.py # Confluence API 客户端
|
||||
│ ├── parser.py # HTML 内容解析器
|
||||
│ ├── text.py # HTML 文本提取器
|
||||
│ ├── log_parser.py # 日志解析器
|
||||
│ ├── manager.py # 内容管理器
|
||||
│ └── __init__.py # 模块导出
|
||||
└── feishu/ # 飞书 API 模块
|
||||
├── client.py # 飞书 API 客户端
|
||||
├── parser.py # 排班数据解析器
|
||||
├── manager.py # 飞书排班管理器
|
||||
└── __init__.py # 模块导出
|
||||
```
|
||||
|
||||
## 快速开始
|
||||
@@ -44,15 +62,31 @@ OrbitIn/
|
||||
pip install requests beautifulsoup4 python-dotenv
|
||||
```
|
||||
|
||||
### 配置 Confluence
|
||||
### 配置
|
||||
|
||||
在 `.env` 文件中配置:
|
||||
|
||||
```bash
|
||||
# .env
|
||||
# Confluence 配置
|
||||
CONFLUENCE_BASE_URL=https://your-confluence.atlassian.net/rest/api
|
||||
CONFLUENCE_TOKEN=your-api-token
|
||||
CONFLUENCE_CONTENT_ID=155764524
|
||||
|
||||
# 飞书表格配置(用于获取排班人员信息)
|
||||
FEISHU_BASE_URL=https://open.feishu.cn/open-apis/sheets/v3
|
||||
FEISHU_TOKEN=your-feishu-api-token
|
||||
FEISHU_SPREADSHEET_TOKEN=EgNPssi2ghZ7BLtGiTxcIBUmnVh
|
||||
|
||||
# 数据库配置
|
||||
DATABASE_PATH=data/daily_logs.db
|
||||
|
||||
# 业务配置
|
||||
DAILY_TARGET_TEU=300 # 每日目标TEU数量,用于计算完成率
|
||||
DUTY_PHONE=13107662315 # 值班电话,显示在日报中
|
||||
SEPARATOR_CHAR=─ # 分隔线字符,用于格式化输出
|
||||
SEPARATOR_LENGTH=50 # 分隔线长度
|
||||
SCHEDULE_REFRESH_DAYS=30 # 排班数据刷新间隔(天)
|
||||
```
|
||||
|
||||
参考 `.env.example` 文件创建 `.env` 文件。
|
||||
@@ -63,7 +97,7 @@ CONFLUENCE_CONTENT_ID=155764524
|
||||
|
||||
```bash
|
||||
# 默认:获取、提取、解析并保存到数据库
|
||||
python3 main.py
|
||||
python3 main.py fetch-save
|
||||
|
||||
# 仅获取HTML并提取文本(保存到debug目录)
|
||||
python3 main.py fetch
|
||||
@@ -74,11 +108,11 @@ python3 main.py fetch-debug
|
||||
# 生成日报(指定日期)
|
||||
python3 main.py report 2025-12-28
|
||||
|
||||
# 生成昨日日报
|
||||
# 生成今日日报
|
||||
python3 main.py report-today
|
||||
|
||||
# 解析测试(使用已有的layout_output.txt)
|
||||
python3 main.py parse-test
|
||||
# 配置测试(验证所有连接)
|
||||
python3 main.py config-test
|
||||
|
||||
# 添加未统计数据
|
||||
python3 main.py --unaccounted 118 --month 2025-12
|
||||
@@ -97,10 +131,11 @@ GUI 功能:
|
||||
- 获取并处理数据
|
||||
- 获取 (Debug模式)
|
||||
- 生成日报
|
||||
- 昨日日报(自动获取前一天数据)
|
||||
- 今日日报(自动获取前一天数据)
|
||||
- 添加未统计数据
|
||||
- 数据库统计(显示当月每艘船的作业量)
|
||||
- 日报内容可复制
|
||||
- 自动刷新排班信息
|
||||
|
||||
## 数据格式
|
||||
|
||||
@@ -160,13 +195,89 @@ GUI 功能:
|
||||
24小时值班手机:13107662315
|
||||
```
|
||||
|
||||
## 核心模块说明
|
||||
|
||||
### Confluence 模块 (`src/confluence/`)
|
||||
- **`client.py`** - Confluence API 客户端,负责 HTTP 请求和连接管理
|
||||
- **`text.py`** - HTML 文本提取器,保留布局结构
|
||||
- **`log_parser.py`** - 日志解析器,解析船次作业数据
|
||||
- **`parser.py`** - HTML 内容解析器,提取链接、图片、表格
|
||||
- **`manager.py`** - 内容管理器,提供高级内容管理功能
|
||||
|
||||
### 飞书模块 (`src/feishu/`)
|
||||
- **`client.py`** - 飞书 API 客户端
|
||||
- **`parser.py`** - 排班数据解析器
|
||||
- **`manager.py`** - 飞书排班管理器,缓存和刷新排班信息
|
||||
|
||||
### 数据库模块 (`src/database/`)
|
||||
- **`base.py`** - 数据库基类,提供统一的连接管理
|
||||
- **`daily_logs.py`** - 每日交接班日志数据库
|
||||
- **`schedules.py`** - 排班数据库
|
||||
|
||||
## 技术栈
|
||||
|
||||
- Python 3.7+
|
||||
- SQLite3
|
||||
- Requests (HTTP 客户端)
|
||||
- HTMLParser (标准库)
|
||||
- BeautifulSoup4 (HTML 解析)
|
||||
- tkinter (GUI,可选)
|
||||
- 类型提示 (Python 3.5+)
|
||||
|
||||
## 架构特点
|
||||
|
||||
1. **模块化设计** - 每个模块职责单一,便于测试和维护
|
||||
2. **统一配置** - 集中管理所有环境变量和业务配置
|
||||
3. **统一日志** - 标准化的日志配置和文件轮转
|
||||
4. **异常处理** - 详细的错误处理和日志记录
|
||||
5. **类型安全** - 全面的 Python 类型提示
|
||||
|
||||
## 开发指南
|
||||
|
||||
### 添加新功能
|
||||
|
||||
1. **配置管理**: 所有配置项应在 `src/config.py` 中定义
|
||||
2. **日志记录**: 使用 `from src.logging_config import get_logger` 获取日志器
|
||||
3. **异常处理**: 为每个模块创建自定义异常类
|
||||
4. **类型提示**: 所有函数和方法都应包含完整的类型提示
|
||||
5. **数据库操作**: 使用 `src/database/base.py` 中的基类确保连接管理
|
||||
|
||||
### 测试
|
||||
|
||||
```bash
|
||||
# 运行配置测试
|
||||
python3 main.py config-test
|
||||
|
||||
# 测试特定功能
|
||||
python3 main.py fetch
|
||||
python3 main.py report-today
|
||||
```
|
||||
|
||||
### 调试
|
||||
|
||||
1. **日志查看**: 查看 `logs/app.log` 获取详细运行信息
|
||||
2. **调试文件**: 使用 `python3 main.py fetch-debug` 生成带时间戳的调试文件
|
||||
|
||||
### 代码规范
|
||||
|
||||
- 遵循 PEP 8 编码规范
|
||||
- 使用 Black 格式化代码(可选)
|
||||
- 使用 isort 排序导入
|
||||
- 所有公开 API 应有文档字符串
|
||||
|
||||
## 故障排除
|
||||
|
||||
### 常见问题
|
||||
|
||||
1. **连接失败**: 检查 `.env` 文件中的 API 令牌和 URL
|
||||
2. **数据库错误**: 确保 `data/` 目录存在且有写入权限
|
||||
3. **解析错误**: 检查 Confluence 页面结构是否发生变化
|
||||
4. **飞书数据获取失败**: 验证飞书表格权限和 token 有效性
|
||||
|
||||
### 日志级别
|
||||
|
||||
- 默认日志级别: INFO
|
||||
- 调试日志级别: DEBUG (设置环境变量 `LOG_LEVEL=DEBUG`)
|
||||
- 日志文件: `logs/app.log`,自动轮转
|
||||
|
||||
## License
|
||||
|
||||
|
||||
Reference in New Issue
Block a user