第一天

Ollama、Huggingface和魔塔社區(qū)平臺(tái)使用

大語(yǔ)言模型簡(jiǎn)介

大模型發(fā)展歷程

國(guó)內(nèi)和國(guó)外大模型廠商和產(chǎn)品

大模型分類和使用

業(yè)務(wù)本地化部署大模型應(yīng)用

部署本地化大模型的意義

本地化部署還是租用算力服務(wù)器

如何進(jìn)行成本測(cè)算

Ollama簡(jiǎn)介

Ollama安裝和常用參數(shù)配置

Ollama大模型介紹

Ollama部署deepseek和Qwen

管理和部署本地大模型

基于Ollama的Web構(gòu)建

ChatBox安裝和使用

huggingface簡(jiǎn)介

注冊(cè)和安裝、模型探索

下載模型、模型推理和使用

Modelscope簡(jiǎn)介

學(xué)習(xí)使用Modelscope提供的免費(fèi)算力服務(wù)器

搭建python開發(fā)環(huán)境

模型下載和推理使用

Ollama、Modelscope和Huggingface對(duì)比和選擇

理解模型規(guī)模、GPU選型和服務(wù)器選型

第二天

vLLM部署和大模型理論基礎(chǔ)

租用AUTODL算力服務(wù)器

大模型模型選擇和服務(wù)器/顯卡選擇

搭建python環(huán)境

實(shí)現(xiàn)大模型推理

Transformers安裝和使用:模型推理、Pipeline和文本生成

vLLM 簡(jiǎn)介和和安裝

使用vLLM實(shí)現(xiàn)模型推理

使用vllm實(shí)現(xiàn)部署模型(deepseek-r1和Qwen3和嵌入模型等)

OpenWebUI搭建大模型聊天應(yīng)用

下載和安裝

大模型的常用配置

實(shí)現(xiàn)聊天應(yīng)用

理解大模型原理基礎(chǔ)

大模型是如何訓(xùn)練的？

理解注意力機(jī)制

理解Transformer架構(gòu)

生成語(yǔ)言基礎(chǔ)模型GPT

理解強(qiáng)化學(xué)習(xí)RLHF流程與思想

什么是模型微調(diào)

微調(diào)的概念和流程

理解LoRA工作原理

LoRA微調(diào)流程

第三天

使用LLaMA-Factory實(shí)現(xiàn)模型微調(diào)和量化

LLaMA-Factory框架簡(jiǎn)介

安裝LLaMA-Factory框架并搭建微調(diào)環(huán)境

基座模型選擇和下載：根據(jù)微調(diào)任務(wù)選擇不同的基座模型

微調(diào)數(shù)據(jù)集準(zhǔn)備

理解identity.json認(rèn)知數(shù)據(jù)集

微調(diào)數(shù)據(jù)集的結(jié)構(gòu)解析

使用deepseek和知識(shí)庫(kù)生成微調(diào)數(shù)據(jù)集

開始使用LoRA訓(xùn)練模型

使用訓(xùn)練模型進(jìn)行聊天測(cè)試

理解模型訓(xùn)練之超參數(shù)調(diào)優(yōu)

合并和導(dǎo)出模型

使用訓(xùn)練后模型進(jìn)行測(cè)試

理解量化理論機(jī)制

什么是模型量化

模型量化機(jī)制探討

實(shí)現(xiàn)將Lora模型進(jìn)行量化

將導(dǎo)出模型轉(zhuǎn)成Ollama,實(shí)現(xiàn)部署

使用vLLM部署微調(diào)模型

搭建和使用LLaMA-Factory WebUI

使用WEBUI實(shí)現(xiàn)模型Lora微調(diào)、合并和導(dǎo)出

使用代碼方式使用Lora模型微調(diào)

使用代碼方式實(shí)現(xiàn)Lora模型合并和導(dǎo)出