AI落地【2】上手篇
服务器级本地部署:大模型+RAG知识库+Agent+langchain
服务器级本地部署:大模型+RAG知识库+Agent+langchain
导师介绍
蔚小北
毕业于北京航空航天大学
2018年开始学习深度学习、自动驾驶等
先后于航空、商业航天负责数字化工作
2024年开始全部投入AI落地技术推广
课程大纲
1. 本地部署开源AI大模型
大模块管理框架安装:OLLAMA
下载和运行大模型
与大模型进行问答
2. 创建一个大模型聊天应用页面
本地下载和运行openweb-ui
与大模型进行问答聊天
与文档、图片问答,Embedding设置
3. 本地AI大模型API构建和调用
ollama自带大模型API调用
Open AI格式的本地大模型API调用
4. 硬件基础环境安装:
虚拟环境管理anaconda的安装
英伟达显卡驱动、CUDA的安装
Docker管理器的安装
5. 本地部署Agent 智能体
虚拟环境创建
Autogenstudio安装和agent概念介绍
autogenstudio介绍
本地模型API调用
skills调用(function calling)
agent和workflow定义
6. 本地知识库RAG构建
RAG概念和虚拟环境创建
依赖包安装
知识库构建
代码讲解
实际操作
AI知识库页面和网页UI集成和应用
代码讲解
实际操作
7. 本地化的大模型和RAG服务器级的部署方法
向量化知识库专用数据库
数据库安装
数据库管理
数据库通过API调用
大模型API跨网络远程调用
大模型远程调用ollama
程序调用大模型
大模型API封装为OpenAI样式并实现域名访问
使用API调用Embedding模型
数据库封装为API远程调用
template Prompt的使用
GPT样式的流式前端页面自定义制作
应用发布至https/http域名
Agent封装成为后端代码
提高并发访问能力
上下文会话记忆
semi-structured文档加载方式:OCR和视觉识别
适用人群
学员收获
大模型、知识库、Embedding、向量数据库等各个环节的API式、可分离服务器的本地部署能力,可企业内部脱网运行
使用Langchain、streamlit、向量数据库等自定义AI应用
能够具备用私有化部署的AI大模型赋能各种对象,实现落地的能力