蚌埠市网站建设_网站建设公司_Logo设计_seo优化

Qwen2.5-7B实战：新闻摘要生成系统开发

1. 引言

随着信息爆炸式增长，新闻内容的自动化处理需求日益迫切。在众多自然语言处理任务中，新闻摘要生成是一项关键能力，能够帮助用户快速获取核心信息。本文将基于通义千问系列最新发布的Qwen2.5-7B-Instruct大型语言模型，构建一个可落地的新闻摘要生成系统。

该模型是 Qwen2 系列的升级版本，在知识覆盖、推理能力、长文本理解与结构化输出方面均有显著提升。尤其值得注意的是，其在编程和数学领域的专家模型训练策略，使得它在复杂逻辑理解和多步骤推理任务上表现优异，这为高质量摘要生成提供了坚实基础。

本项目由 by113 小贝团队完成二次开发与部署，目标是打造一个稳定、高效、可扩展的摘要服务系统。我们将从模型特性分析入手，逐步介绍系统架构设计、核心实现逻辑、性能优化技巧，并最终提供完整的工程实践方案。

2. 模型能力解析

2.1 Qwen2.5 核心改进

Qwen2.5 系列发布了从 0.5B 到 720B 参数规模的多个版本，涵盖基础预训练模型和指令调优模型。其中Qwen2.5-7B-Instruct是适用于中等算力场景的理想选择，具备以下关键优势：

• 知识量显著增加：通过更大规模的数据清洗与增强，提升了通用领域知识密度。
• 推理能力增强：在数学解题、代码生成等任务中表现更优，得益于专业领域的专家模型联合训练。
• 长上下文支持：支持超过 8,192 tokens 的输入长度，适合处理长篇新闻稿件。
• 结构化数据理解：能有效解析表格、JSON 等非纯文本格式，便于融合元数据进行摘要。
• 指令遵循能力强：对复杂 prompt 的响应更加准确，减少“答非所问”现象。

这些特性使其特别适合用于需要高保真度、强语义理解的摘要任务。

2.2 模型参数与资源消耗

该模型采用 Hugging Face Transformers 兼容接口，支持device_map="auto"自动分布式加载，极大简化了部署流程。

3. 系统架构与实现

3.1 整体架构设计

本系统采用轻量级 Web 服务架构，前端通过 Gradio 提供交互界面，后端集成模型推理模块，整体结构清晰、易于维护。

+------------------+ +-------------------+ | 用户请求 | --> | Gradio UI | +------------------+ +-------------------+ ↓ +-------------------+ | 推理引擎 | | - Tokenizer | | - Model (GPU) | +-------------------+ ↓ +-------------------+ | 输出后处理 | | - 清洗 | | - 截断 | +-------------------+

系统运行于/Qwen2.5-7B-Instruct目录下，主要组件包括：

• app.py：主服务入口，使用 Gradio 构建 Web 界面
• download_model.py：模型下载脚本（可选）
• start.sh：一键启动脚本
• .safetensors权重文件：分片存储，总大小约 14.3GB
• 配置文件：config.json,tokenizer_config.json

3.2 核心代码实现

以下是摘要生成的核心逻辑实现，封装在app.py中：

from transformers import AutoModelForCausalLM, AutoTokenizer import gradio as gr # 加载模型与分词器 model_path = "/Qwen2.5-7B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", torch_dtype="auto" ) def generate_summary(article): # 构造对话模板 messages = [ {"role": "user", "content": f"请对以下新闻进行简洁摘要，控制在100字以内：\n{article}"}, {"role": "assistant", "content": ""} ] # 应用聊天模板 prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(prompt, return_tensors="pt").to(model.device) # 生成摘要 outputs = model.generate( **inputs, max_new_tokens=128, temperature=0.7, top_p=0.9, do_sample=True, repetition_penalty=1.1 ) # 解码输出（跳过输入部分） response = tokenizer.decode(outputs[0][len(inputs.input_ids[0]):], skip_special_tokens=True) return response.strip() # 创建 Gradio 界面 demo = gr.Interface( fn=generate_summary, inputs=gr.Textbox(label="输入新闻原文", lines=10), outputs=gr.Textbox(label="生成摘要", lines=3), title="Qwen2.5-7B 新闻摘要生成系统", description="基于 Qwen2.5-7B-Instruct 模型，支持长文本摘要生成。", examples=[ ["近日，我国在人工智能领域取得重大突破，多家科技企业发布新一代大模型产品..."] ] ) # 启动服务 if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860, share=False)

关键点说明：

• 使用apply_chat_template方法自动构造符合 Qwen 指令格式的 prompt，确保模型正确理解任务意图。
• 设置max_new_tokens=128控制输出长度，避免冗余。
• 启用采样参数（temperature=0.7,top_p=0.9）提升生成多样性，同时设置repetition_penalty=1.1抑制重复。
• device_map="auto"实现 GPU 自动分配，充分利用显存资源。

4. 部署与运维

4.1 快速部署流程

进入模型目录并启动服务：

cd /Qwen2.5-7B-Instruct python app.py

服务默认监听7860端口，可通过以下地址访问：

https://gpu-pod69609db276dd6a3958ea201a-7860.web.gpu.csdn.net/

4.2 系统配置要求

4.3 依赖环境版本

torch==2.9.1 transformers==4.57.3 gradio==6.2.0 accelerate==1.12.0

建议使用虚拟环境安装依赖：

pip install torch==2.9.1 transformers==4.57.3 gradio==6.2.0 accelerate==1.12.0

4.4 日志与监控

所有运行日志输出至server.log文件，可通过以下命令实时查看：

tail -f server.log

常用运维命令汇总：

# 查看进程 ps aux | grep app.py # 检查端口占用 netstat -tlnp | grep 7860 # 重启服务（示例） pkill -f app.py && python app.py

5. API 扩展与集成

除 Web 界面外，系统也支持程序化调用。以下为外部应用调用摘要功能的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained( "/Qwen2.5-7B-Instruct", device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained("/Qwen2.5-7B-Instruct") def summarize(text): messages = [{"role": "user", "content": f"请对以下新闻进行简洁摘要，控制在100字以内：\n{text}"}] prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=128, do_sample=True, temperature=0.7) response = tokenizer.decode(outputs[0][len(inputs.input_ids[0]):], skip_special_tokens=True) return response.strip() # 使用示例 news = "北京时间今日凌晨，国际足联宣布2030年世界杯将由西班牙、葡萄牙和摩洛哥联合举办..." summary = summarize(news) print(summary)

此接口可用于接入新闻聚合平台、智能推荐系统或移动端 App。

6. 总结

6.1 实践经验总结

本文详细介绍了基于Qwen2.5-7B-Instruct构建新闻摘要生成系统的全过程，涵盖模型特性分析、系统架构设计、核心代码实现、部署运维及 API 集成。该项目已在实际环境中稳定运行，验证了该模型在中文摘要任务上的强大能力。

关键收获如下：

1. 指令模板至关重要：正确使用apply_chat_template能显著提升模型响应准确性。
2. 长文本处理能力强：支持超 8K tokens 输入，适合处理深度报道类文章。
3. 轻量部署可行：单张高端消费级 GPU（如 RTX 4090 D）即可满足推理需求。
4. 生成质量高：摘要语义连贯、重点突出，接近人工撰写水平。

6.2 最佳实践建议

• 输入清洗：在送入模型前去除 HTML 标签、广告文本等噪声。
• 输出截断：结合max_new_tokens和后处理规则控制摘要长度。
• 批处理优化：对于大量文档，可启用pipeline批处理提升吞吐效率。
• 缓存机制：对相同或相似内容添加摘要缓存，降低重复计算开销。

通过合理配置与调优，Qwen2.5-7B-Instruct 完全可以胜任生产级摘要任务，是当前中小团队构建 AI 内容处理系统的优质选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。