AI落地【2】上手篇
自定义本地部署:大模型+RAG知识库+Agent+langchain
自定义本地部署:大模型+RAG知识库+Agent+langchain
导师介绍
蔚小北
毕业于北京航空航天大学
2018年开始学习深度学习、自动驾驶等
先后于航空、商业航天负责数字化
2024年开始全部投入AI落地技术推广
课程大纲
1. 本地部署开源AI大模型
大模块管理框架安装:OLLAMA
下载和运行大模型
与大模型进行问答
2. 创建一个大模型聊天应用页面
本地下载和运行openweb-ui
与大模型进行问答聊天
与文档、图片问答,Embedding设置
3. 本地AI大模型API构建和调用
ollama自带大模型API调用
Open AI格式的本地大模型API调用
4. 硬件基础环境安装:
虚拟环境管理anaconda的安装
英伟达显卡驱动、CUDA的安装
Docker管理器的安装
5. 本地部署Agent 智能体
虚拟环境创建
Autogenstudio安装和agent概念介绍
autogenstudio介绍
本地模型API调用
skills调用(function calling)
agent和workflow定义
6. 本地知识库RAG构建
RAG概念和虚拟环境创建
依赖包安装
知识库构建
代码讲解
实际操作
AI知识库页面和网页UI集成和应用
代码讲解
实际操作
适用人群
学员收获
大模型、知识库各个环节的本地部署能力,可脱网运行,解决企业信息安全问题
使用Langchain等矿机自定义AI应用
能够具备用私有化部署的AI大模型赋能各种对象,实现落地的能力