使用Dify 构建国土空间规划智能问答应用

简介

 

ChatGPT发布之后，引发了AI大模型爆火，各厂商大模型如雨后春笋般冒出来，随着各种开源大模型和应用开发框架相继推出，不断降低着大模型应用落地的难度。

Dify 是一款开源的大语言模型(LLM) 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。最重要的是不需要有代码能力，即可构建大模型应用，大大降低了开发门槛。

“智能问答”是目前大家比较公认的最成熟的大模型应用，由于大模型本身存在专有领域知识不足和时效性差的缺点，目前业内比较通用的做法是大模型+外部知识库来做检索增强生成，从而减少这两个缺点带来的影响。整体原理如下：加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 提示词中 -> 提交给大模型生成回答。

下面我将使用Dify来构建国土空间规划智能问答应用，主要包括构建规划知识库，基于知识库做智能问答应用、生成应用链接三个步骤。

01 构建规划知识库

 

首先登录Dify使用地址：https://cloud.dify.ai/

• 创建知识库

• 知识库分成文档、召回测试、设置

• 选择添加文件，这里我已经添加了3个文件

• 添加文件分选择数据源、文本分段与清洗、处理并完成三个步骤

• 数据源这里，我选择之前准备好的国土空间规划方面的政策文件

• 文本分段与清洗可以选择自动分段与清洗、自定义两种方式，这里我们是用默认设置

• 点击保存并处理

 

• 这样就完成了本地文档-知识库-向量化的过程。为后续检索及大模型生成打下了基础。

• 召回测试

• 问它什么是专项规划来做召回测试，效果还可以，排名第一的正是《中共中央 国务院关于建立国土空间规划体系并监督实施的若干意见》文件对于专项规划的定义。

• 这里检索方法设置有三种方法可以选，即向量检索、全文检索、混合检索，还可以使用重排序模型来提高检索的准确率，不过需要申请重排序模型API key 才能使用。

• 登录网站，拿到试用API Key

• 回到检索方法设置，添加API Key

 

• 重新测试看看效果，好像看着差不多，可能是知识库中文件比较少，区分不了效果

• 设置：知识库名称、知识库描述、权限、索引模式、检索设置。

梳理最近几年国土空间规划相关的政策文件，都导入知识库，过程类似就不展开了。

02 基于知识库做问答应用

• 创建应用：有助手和文本生成应用两种选择，这里我们选择助手

• 参考官方文档进行提示词编排，上下文选择即我们构建的知识库、添加谷歌搜索工具，这样知识库找不到答案的话，会去网络进行搜索。

添加几个聊天增强功能，如设置对话开场白，下一步问题建议。

• 发布之后，就可以让别人访问了

  

03 智能问答试用

• 下面是国土空间规划知识智能问答的应用链接，可以复制链接到浏览器使用或者识别图中的二维码使用

  https://udify.app/chat/0hcwai5PWYWztLK0

小结

使用Dify构建大模型智能问答应用，整体下来还是挺简单的，不用写一行代码。下图为使用效果动图，可以看出来响应还挺快的。