https://glimmerai.top AI应用工程师Yardon的个人技术博客，分享AI工程、全栈开发、开源贡献等实战经验。 zh-CN Wed, 10 Jun 2026 03:42:27 GMT https://glimmerai.top/assets/og/default-og.png https://glimmerai.top https://glimmerai.top/pages/blog-post.html?id=agent-prompt-03 https://glimmerai.top/pages/blog-post.html?id=agent-prompt-03 Tue, 09 Jun 2026 00:00:00 GMT 我用 OpenClaw 框架搭载 QClaw 客户端，接入 Qwen3.7-Plus 大模型，用提示词工程造出了一个「网站匠人」智能体。它能审计网站、执行修复、学习竞品、开发新功能。本文完整复现了从人设定义到功能落地的全过程，所有提示词模板可直接复制使用。 Yardon 常用 Agent 提示词 https://glimmerai.top/pages/blog-post.html?id=agent-prompt-01 https://glimmerai.top/pages/blog-post.html?id=agent-prompt-01 Thu, 04 Jun 2026 00:00:00 GMT Claude Code 是 Anthropic 推出的 AI 编程助手。本文提供完整的提示词工程指南，涵盖代码生成、代码重构、问题调试、架构设计四大场景的模板和实战案例。 Yardon 常用 Agent 提示词 https://glimmerai.top/pages/blog-post.html?id=agent-prompt-02 https://glimmerai.top/pages/blog-post.html?id=agent-prompt-02 Sat, 30 May 2026 00:00:00 GMT 深入解析 CodeBuddy 的 Agent 模式，提供前端、后端、数据库、DevOps、测试、代码审查六大 Agent 的系统提示词模板，可直接复制使用。 Yardon 常用 Agent 提示词 https://glimmerai.top/pages/blog-post.html?id=lora-08 https://glimmerai.top/pages/blog-post.html?id=lora-08 Wed, 20 May 2026 00:00:00 GMT 从微调到产品：最后 10% 的差距 Demo 到产品的差距，在 AI 产品中尤为明显： Demo：单用户、英文输入、标准问题 → 90% 准确率 ✅ 产品：多用户并发、中英文混合、边缘问题 → ？？ 最后 10% 要解决的是：稳定性、延迟、成本、安全。 --- 产品架构：微调模型 + RAG 双引擎 用户提问 ↓ ① 意图识别（小模型/规则） ↓ ② 走「微... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-06 https://glimmerai.top/pages/blog-post.html?id=lora-06 Tue, 19 May 2026 00:00:00 GMT CUDA Out of Memory 症状：torch.cuda.OutOfMemoryError: CUDA out of memory 解决： python 1. 减小 batch_size per_device_train_batch_size=1 2. 开启梯度检查点（用时间换显存） training_args = TrainingArguments... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-07 https://glimmerai.top/pages/blog-post.html?id=lora-07 Tue, 19 May 2026 00:00:00 GMT 全流程自动化脚本 python train_pipeline.py def run_pipelinemodel_name, data_dir, output_dir: 1. 加载数据 dataset = load_dataset"json", data_files=f"{data_dir}/.jsonl" 2. 加载模型（4-bit 量化） model, t... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-04 https://glimmerai.top/pages/blog-post.html?id=lora-04 Mon, 18 May 2026 00:00:00 GMT 训练结束后做什么 1. 评估 → 微调后的模型比以前好了吗？ 2. 合并 → 把 LoRA 权重融合进基础模型 3. 量化 → 压缩模型到 4-8 GB 方便部署 4. 测试 → 跑一组测试用例 5. 部署 → 上 Ollama / vLLM 推理服务 --- 模型评估：自动 + 人工 python from evaluate import load 困惑度... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-05 https://glimmerai.top/pages/blog-post.html?id=lora-05 Mon, 18 May 2026 00:00:00 GMT 多 LoRA 动态切换 部署一个基础模型 + 多个 LoRA adapter，按需加载： python 加载多个 adapter base_model = AutoModelForCausalLM.from_pretrained"Qwen/Qwen2.5-7B-Instruct" 储能领域的 adapter storage_adapter = PeftMod... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-02 https://glimmerai.top/pages/blog-post.html?id=lora-02 Sun, 17 May 2026 00:00:00 GMT 环境依赖清单 bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft accelerate datasets bitsandbytes 库 作用 :--:-- t... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=lora-03 https://glimmerai.top/pages/blog-post.html?id=lora-03 Sun, 17 May 2026 00:00:00 GMT **超参调优经验**：对比LoRA的rank(r)和alpha对微调效果的影响。**实验设计**：在Alpaca数据集上测试(r=4,8,16,32) × (alpha=16,32,64)组合。**数据结果**：r=16, alpha=32时效果最佳，验证集loss最低且训练稳定。**踩坑记录**：r=32时出现过拟合，alpha=64时梯度爆炸。**实用建议**：对于7B模型，从r=16, alpha=32开始，根据验证集表现微调。**代码示例**：提供了完整的PEFT配置和训练脚本，可直接复现。 Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=mlops-08 https://glimmerai.top/pages/blog-post.html?id=mlops-08 Sat, 16 May 2026 00:00:00 GMT 一、AI 团队角色定义 1.1 核心角色 角色 职责 技能要求 :---:---:--- AI 产品经理 定义 AI 场景，评估可行性 业务理解 + 技术认知 数据工程师 数据管道，特征工程 Spark, SQL, ETL ML 工程师 模型训练，实验管理 PyTorch, MLflow AI 平台工程师 基础设施，模型服务 K8s, CUDA, 推理优化 ... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=lora-01 https://glimmerai.top/pages/blog-post.html?id=lora-01 Sat, 16 May 2026 00:00:00 GMT 为什么需要微调 通用大模型（GPT-4、Llama、Qwen）知识面广，但对特定领域的专业任务表现平平。举个例子： 用户："帮我写一份新能源储能电池的安全测试报告" GPT-4：输出结构松散，缺少安全标准引用 微调后模型：严格按 IEC 62619 模板输出，每个字段精准 微调就是把通用模型"驯化"成你领域的专家。 --- 微调 vs Prompt 工程 维... Yardon LoRA 微调：从小白到精通 https://glimmerai.top/pages/blog-post.html?id=mlops-06 https://glimmerai.top/pages/blog-post.html?id=mlops-06 Fri, 15 May 2026 00:00:00 GMT 一、AI 安全风险概览 1.1 风险矩阵 风险类型 描述 严重程度 :---:---:--- Prompt 注入 用户输入覆盖系统指令 🔴 高 数据泄露 模型泄露训练数据 🔴 高 有害输出 生成歧视/违法内容 🔴 高 幻觉 生成虚假信息 🟡 中 模型窃取 通过 API 复制模型 🟡 中 供应链攻击 恶意模型/数据集 🟡 中 --- 二、Prompt 注入防护... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=mlops-07 https://glimmerai.top/pages/blog-post.html?id=mlops-07 Fri, 15 May 2026 00:00:00 GMT 一、AI 基础设施架构 1.1 典型架构 ┌-----------------------------------------┐ │ 负载均衡器 │ │ Nginx / AWS ALB │ └-----------------┬-----------------------┘ │ ┌-------------┼-------------┐ ▼ ▼ ▼ ┌--... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=mlops-04 https://glimmerai.top/pages/blog-post.html?id=mlops-04 Thu, 14 May 2026 00:00:00 GMT 一、LLM 应用架构模式 1.1 常见架构 模式 1: 直接调用 用户 --► API Gateway --► LLM API OpenAI/Claude └--► 返回结果 模式 2: RAG 增强 用户 --► API Gateway --► 检索模块 --► 向量数据库 │ │ ▼ │ Prompt 组装 ◄-----┘ │ ▼ LLM API 模式 ... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=mlops-05 https://glimmerai.top/pages/blog-post.html?id=mlops-05 Thu, 14 May 2026 00:00:00 GMT **微调实战数据**：在中文法律问答数据集上微调Qwen2.5-7B，使用LoRA (r=16, alpha=32)。**训练过程**：初始学习率2e-4，3个epoch后验证集loss从2.1降到1.4。**关键发现**：在第2个epoch出现轻微过拟合，通过早停和权重衰减缓解。**结果对比**：微调后模型在专业法律问题上的准确率从45%提升到78%，在通用问题集上保持原有水平（±3%）。**成本分析**：单卡A100训练8小时，电费约¥120，远低于从头训练。 Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=mlops-02 https://glimmerai.top/pages/blog-post.html?id=mlops-02 Wed, 13 May 2026 00:00:00 GMT 一、模型压缩技术概览 1.1 为什么需要模型优化？ 场景 原始模型 优化后 :---:---:--- 云端 GPU 13B 参数，26GB 量化 INT8，13GB 边缘设备 无法运行 INT4 量化，可部署 移动端 推理 2s 蒸馏小模型，200ms 高并发 单卡 10 QPS TensorRT，100 QPS 1.2 压缩技术对比 技术 原理 压缩比 精... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=mlops-03 https://glimmerai.top/pages/blog-post.html?id=mlops-03 Wed, 13 May 2026 00:00:00 GMT 一、MLOps 核心概念 1.1 MLOps vs DevOps 维度 DevOps MLOps :---:---:--- 版本控制 代码 代码 + 数据 + 模型 测试 单元/集成测试 模型性能测试 部署 二进制/容器 模型 + 推理服务 监控 系统指标 数据漂移、模型衰减 回滚 代码回滚 模型版本回滚 1.2 MLOps 成熟度模型 Level 1: 手... Yardon AI 工程化与 MLOps https://glimmerai.top/pages/blog-post.html?id=typescript-08 https://glimmerai.top/pages/blog-post.html?id=typescript-08 Tue, 12 May 2026 00:00:00 GMT 一、项目架构设计 1.1 技术栈 层级 技术 用途 :---:---:--- 前端 React 18 + Vite + Tailwind UI 渲染 后端 Express + TypeScript API 服务 数据库 PostgreSQL + Prisma 数据持久化 缓存 Redis Session + 缓存 部署 Docker + Docker Com... Yardon TypeScript 全栈类型安全 https://glimmerai.top/pages/blog-post.html?id=mlops-01 https://glimmerai.top/pages/blog-post.html?id=mlops-01 Tue, 12 May 2026 00:00:00 GMT 一、AI 工程化概述 1.1 从 Notebook 到生产 阶段 特点 工具 :---:---:--- 研究 探索性，快速迭代 Jupyter, Colab 开发 模块化，可复现 Python scripts, Git 工程化 可扩展，可维护 FastAPI, Docker 生产 高可用，可监控 K8s, Prometheus 1.2 AI 工程化核心挑战 ... Yardon AI 工程化与 MLOps