CVTE System Software Team

缺陷 Debug
重新定义

AI Workflow Automation for Embedded Engineers

基于 Harness Engineering 理念构建 —— 给 AI 搭建环境，让智能真正能用起来。
从 Bug 分析到代码提交、Jira 流转，一条命令，全程自动化。

立即安装 查看架构
5
核心 Skills
15
MCP 工具
4
维度评估
∞
自进化周期
// 01 — Harness Definition

什么是 Harness？本项目如何对应？

≡
来自 learn-claude-code 的定义
Harness = Tools + Knowledge + Observation + Action Interfaces + Permissions
核心洞察：工程师的真正工作不是构建 Agent 本身（那是模型训练的事），而是构建让模型能在特定领域有效运作的 Harness。 正如 DeepMind 训练 DQN 玩 Atari，游戏环境本身就是 Harness —— 它提供了状态感知、动作接口、奖励信号。

Harness 不是 prompt 链，不是脆弱的规则树。它是一套结构化的工程环境，让模型的智能真正能够落地。
Layered Architecture
分层 Harness 架构 — 通用层 + 领域扩展层
cvte-harness 不是独立的 Harness，而是基于 Claude Code 的领域特定扩展。 Claude Code 提供通用 AI 能力（文件操作、记忆、多 agent），cvte-harness 在其之上叠加 CVTE 系统软件工作流的专门化能力。
cvte-harness
领域特定扩展
为 CVTE 系统软件工作流提供专门化能力：
Tools
Jira/GitLab/Git 集成
Knowledge
CVTE 规范（CLAUDE.md）
Observation
4 维度质量评估
Actions
5 个 CVTE Skills
Permissions
Jira/GitLab 操作门控
基于 / 扩展
↓
Claude Code
通用 AI Harness
为所有 AI 任务提供基础设施：
Tools
Bash/Read/Write/Grep
Knowledge
记忆/压缩/多 agent
Observation
工具执行观测
Actions
Skills 系统
Permissions
文件操作确认
复用策略： ✓ Tools 复用 + 扩展， ✓ Knowledge 完全复用机制， ✗ Observation 必须自建（Claude Code 只观测执行，不评估领域质量）， ✓ Actions 复用 Skills 系统， ✓ Permissions 复用机制 + 扩展。
Tools
工具接入层
连接外部系统，将 AI 的意图转化为实际动作
jira_get_issue
gitlab_create_mr
git_push_temp_branch
local_compile
+ 11 更多工具
✅ 15 个 MCP 工具完整覆盖
Knowledge
领域知识层
将 CVTE 特有规范主动注入 AI 上下文，避免依赖记忆
CLAUDE.md（自动加载）
分支命名规则
Jira 字段 ID 映射
技术栈仓库对应表
SKILL.md 经验教训积累
✅ 结构化注入，不靠记忆
Observation
观测评估层
记录执行过程，量化质量，为进化提供数据基础
task_log_start/step/save
4 维度自动评分
失败模式识别
历史数据积累
✅ 双 AI 评估系统
Action Interfaces
动作接口层
定义 AI 可执行的操作边界，通过 Skills 提供结构化工作流
/fix-jira-bug
/merge-to-release
/apply-vendor-patch
/evaluate-task
/evolve
✅ 5 个标准化 Skills
Permissions
权限边界层
高风险不可逆操作设置人工确认门控，防止 AI 误操作
dry_run=True（默认）
push → 预览确认
create_mr → 预览确认
jira_transition → 预览确认
✅ 二阶段确认门控
Knowledge Layer Design
知识分层策略 — CLAUDE.md vs SKILL.md
并非所有知识都值得每次注入。按使用频率分层放置，是 token 效率的关键——全局通用规范放 CLAUDE.md 每次自动加载，任务专属细节放 SKILL.md 按需读取。
CLAUDE.md
每次会话自动加载
适合放置跨多个 Skill 都需要的全局规范：
✓ 工作目录说明（防止误操作）
✓ 分支命名规则（多 Skill 通用）
✓ 临时分支命名规范
✓ 提交消息格式（所有 git 操作）
✓ Permissions 门控规则（全局）
按需 vs 全量
SKILL.md
Skill 调用时按需读取
适合放置该任务专属的细节知识：
fix-jira-bug: Jira 流转必填字段、技术栈仓库映射
merge-to-release: cherry-pick 前置检查 SOP
apply-vendor-patch: stash + rebase 顺序约定
evolve: 进化引擎分析阈值配置
经验教训: 自进化自动写回，随时间积累
设计原则：全局通用 → CLAUDE.md（每次加载），任务专属 → SKILL.md（按需注入）。避免把所有知识堆进 CLAUDE.md 造成无关 token 消耗。
Evolution Loop
自进化闭环 — 超越标准定义
标准 Harness 是静态的；CVTE Harness 在此基础上增加了自进化机制： 每次任务执行后自动评估 → 积累失败模式 → 每周分析 → 自动将 suggestions 写回 SKILL.md → 下次执行时 Knowledge 更丰富。Harness 的能力随时间单调递增。
执行任务
→
自动评估
→
生成建议
→
写回 SKILL.md
↩
// 02 — Context

为什么需要 CVTE Harness？

01
⚙
什么是 Harness Engineering

模型只提供智能，Harness 让智能真正能用起来。其核心目标是：在特定任务场景下，大幅提升模型的准确率与执行效率。


准确率提升意味着更少的重试和纠错轮次；效率提升意味着达成目标所需的 token 消耗也随之减少 —— 高准确率与低 token 消耗，是同一件事的两面。


实现路径：为 AI 搭建工程环境，提供：


→ 工具接入：连接 Jira、GitLab、Git 等系统
→ 流程约束：结构化 SOP，减少模型自由发挥的误差
→ 上下文感知：技术栈、仓库、用户信息精确注入
→ 质量闭环：执行后自动评估，数据驱动持续优化

02
✓
功能元开发 — AI 已落地
AI 导入功能元大幅提升了导入效率，这一环节已经有成熟的 AI 实践。

但这仅仅是研发流程的一部分，消耗开发工时更多的缺陷 Debug 环节，至今还没有高效的 AI 解决方案。
03
!
缺陷 Debug — 最耗时的环节
每个 Bug 的处理都涉及：分析→修复→提测→合入，横跨研发测试、集成测试、生产测试全链路。

每次还要手动写 commit、填 Jira、创建 MR —— 这些重复劳动占去大量时间。
CVTE 系统软件 研发流程全景
01
功能元开发
→
02
缺陷 Debug AI NOW
→
03
研发测试
→
04
集成测试
→
05
生产测试
缺陷 Debug 贯穿研发测试、集成测试、生产测试三个阶段，是整个研发流程中 最耗工时 的环节。
CVTE Harness 在此切入：简单问题一步解决，复杂问题节约提交/填写/备注的重复劳动，让研发专注在真正有价值的工作上。
// 03 — Architecture

系统架构 — 三层设计

用户层
Claude Code CLI
用户在 Claude Code 中输入指令（如：帮我修复 H01252608-1797），AI 自动调度对应 Skill
/ fix-jira-bug / merge-to-release / apply-vendor-patch / evaluate-task / evolve
核心层
Skills 工作流引擎
Markdown 定义的结构化工作流，包含决策分支和 SOP 约束，驱动 AI 按规范执行任务
MCP Server
Python 实现的 MCP 工具服务器，提供 Jira/GitLab/Git 深度集成，以及评估系统工具链
jira.py gitlab.py git.py evaluator.py evolution.py
双 AI 评估系统
生成器 AI 执行任务，评估器 AI 对完成度/效率/质量/规范性四维度独立打分，数据积累驱动自进化
集成层
Jira API
获取 Bug 信息、添加评论、流转工单状态
GitLab API
创建 Merge Request，管理多仓库合并
本地 Git
代码提交、分支推送、cherry-pick、补丁应用
本地编译环境
可选的本地编译验证，确保代码提交前质量
// 04 — Skills

5 个核心 Skills — 端到端自动化

🐛
fix-jira-bug
● 全自动 · 4 决策分支 · Bug 修复核心工作流

输入一个 Jira Bug ID，AI 自动完成：获取信息 → 分析代码 → 判断类型 → 修复/流转 → 提交代码 → 创建 MR → 流转 Jira 状态 → 质量评估。 对于无法修复的问题（芯片原厂闭源、跨技术栈、问题无效），及时终止并给出处理建议，避免无效工作。

决策分支
A1 芯片原厂闭源 → 提示联动原厂ESCALATE
A2 跨技术栈 → 建议流转其他工程师TRANSFER
A3 问题无效 → 建议关闭CLOSE
A4 本技术栈可修复 → 完整 9 步流程FIX
A4 分支执行步骤
01 jira_add_comment (原因分析)
02 jira_transition_status (处理中)
03 修改代码文件
04 local_compile (可选验证)
05 git_commit_with_template
06 git_push_temp_branch
07 提示触发 Jenkins
08 gitlab_create_mr
09 jira_transition_status (提测)
🔀
merge-to-release
● 全自动 · 多仓库 cherry-pick

多仓库并行 cherry-pick 到 release 分支，前置检查 SOP 防止遗漏和冲突，完成后汇总所有 MR 链接并更新 Jira。

→ 前置检查：状态调研 + 依赖分析
→ N 个仓库并行 cherry-pick
→ 完整性验证：N 仓库 → N 个 MR
→ 汇总链接 + 更新 Jira
🔧
apply-vendor-patch
● 全自动 · 芯片原厂补丁合入

stash 保存当前工作 → rebase 同步最新代码 → 应用原厂补丁 → 冲突处理 → 提交代码 → 恢复工作现场。全程保护本地未提交修改。

→ git stash（保护工作区）
→ git rebase（基于最新代码）
→ git apply（应用补丁）
→ 提交 + git stash pop
📊
evaluate-task
● 自动触发 · 4 维度打分

任务完成后自动评估。基于真实执行日志，从完成度、效率、质量、规范性四维度客观打分，输出结构化反馈和改进建议。

→ 完成度 (0-10)：步骤是否完整
→ 效率 (0-10)：一次通过率/耗时
→ 质量 (0-10)：无错误/输出完整
→ 规范性 (0-10)：遵循 SOP
🔄
evolve
● 每周自动 · 自进化分析引擎

每周一 8:57 自动分析历史数据，识别高频失败模式，生成分级优化建议（高/中/低优先级），形成 AI 能力的持续改进闭环。

→ 统计分析：平均分/通过率/耗时
→ 模式识别：高频失败自动浮现
→ 分级建议：高/中/低优先级
→ 生成报告 → 人工审核 → 迭代
// 05 — MCP Tools

15 个 MCP 工具 — 深度系统集成

Jira
3 tools
jira_get_issue
获取 Bug 详情
jira_add_comment
添加评论/备注
jira_transition_status
流转状态 + 自定义字段
GitLab
1 tool
gitlab_create_mr
创建 Merge Request
Git
2 tools
git_commit_with_template
标准模板提交
git_push_temp_branch
推送临时分支
配置 & 工具
3 tools
cvte_harness_get_config
读取配置
cvte_harness_set_config
写入配置
parse_manifest
解析 repo manifest
编译
1 tool
local_compile
本地编译验证
评估系统
5 tools
task_log_start
开始记录任务
task_log_step
记录执行步骤
task_log_save
保存 + 触发评估
task_evaluate
手动触发评估
harness_evolve
运行自进化分析
// 06 — Dual AI

双 AI 协作 — 执行 + 评估 + 进化

🤖
生成器 AI
Executor
task_log_start()
执行工作流步骤
task_log_step() × N
task_log_save()
自动触发
⚖
评估器 AI
Evaluator
完成度评分
效率评分
质量评分
规范性评分
识别失败模式
数据积累
📈
自进化引擎
Evolution
统计分析
失败模式识别
优化建议生成
每周一自动运行
// 07 — Roadmap

路线图 — 从基础到平台

Phase 1 — 当前
缺陷 Debug 核心场景
端到端 Bug 修复自动化，覆盖 Jira/GitLab/Git 完整集成，双 AI 评估系统，自进化引擎。 Plugin 方式发布，claude plugin add 一键安装。
fix-jira-bug ✓ merge-to-release ✓ MCP Server ✓ 评估系统 ✓ Plugin 发布 ✓
Phase 2 — 近期
多 IDE 适配
扩展 Cursor、Codex、GitHub Copilot 兼容，让更多 AI IDE 用户受益。
Cursor 适配 Codex 适配 Copilot 适配
Phase 3 — 规划中
平台对接 — 更复杂场景
对接 Jenkins 实现自动化构建触发，对接企业微信 CLI 实现消息通知， 支持更复杂的跨系统工作流场景。
Jenkins 集成 企业微信 CLI 复杂场景工作流
// 08 — Get Started

快速开始 — 三步上手

安装
前置要求：Python 3.8+、Claude Code CLI、Jira / GitLab Personal Access Token
bash
# 1. 克隆仓库
$ git clone https://github.com/kirk-haodong/cvte-harness.git

# 2. 添加 Plugin（自动安装依赖）
$ claude plugin add ./cvte-harness

# 3. 验证安装
$ claude plugin list
✓ cvte-harness@1.1.0

$ claude mcp list
✓ cvte-harness — running
首次使用配置：
→ 运行 /cvte-harness:setup 进行配置引导
→ 或直接使用任意 skill，系统自动提示配置
→ 配置保存在 ~/.cvte-harness/config.json
使用示例
在 Claude Code 中，用自然语言描述任务即可
claude code — 修复 Bug
You: 帮我修复 H01252612-785

# AI 自动执行：
✓ 获取 Jira Bug 信息
✓ 分析代码，定位问题
✓ 判断：本技术栈可修复
✓ 修改代码并验证
✓ git commit (标准模板)
✓ git push → 创建 MR
✓ Jira 状态 → 提测
✓ 质量评估: 8.5 / 10
claude code — 合入 Release
You: 把 H01252612-785 合入 release_obm

# AI 自动执行：
✓ 前置检查：3 个涉及仓库
✓ 依赖分析：无冲突
✓ cherry-pick × 3 仓库
✓ 创建 MR × 3
✓ 更新 Jira 备注 + 状态