課程概述
本課程深入講解自然語言處理（NLP）的基礎(chǔ)、技術(shù)和應(yīng)用，同時(shí)特別關(guān)注人工智能生成內(nèi)容（AIGC）和大模型的研發(fā)。課程內(nèi)容從NLP的基本定義到其在現(xiàn)實(shí)世界的應(yīng)用，探討面臨的挑戰(zhàn)和限制，并詳細(xì)介紹文本預(yù)處理和清洗技術(shù)。特別強(qiáng)調(diào)語言模型，如n-gram和神經(jīng)網(wǎng)絡(luò)語言模型，及其在文本分類、情感分析和文本生成等領(lǐng)域的應(yīng)用。課程深入詞嵌入技術(shù)，包括Word2Vec和GloVe算法，并探討其應(yīng)用。重點(diǎn)關(guān)注深度學(xué)習(xí)在NLP中的應(yīng)用，尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、Transformer模型和BERT及其變體的研究和應(yīng)用，強(qiáng)調(diào)這些技術(shù)在AIGC和大模型研發(fā)中的核心地位。此外，課程涵蓋向量數(shù)據(jù)庫技術(shù)和LangChain的先進(jìn)應(yīng)用，以及QLORA和RAG等模型的詳細(xì)介紹，展示它們?nèi)绾蝺?yōu)化語言模型查詢和檢索性能，提高生成內(nèi)容的質(zhì)量和準(zhǔn)確性。
通過結(jié)合理論學(xué)習(xí)和實(shí)戰(zhàn)案例，本課程旨在培養(yǎng)學(xué)員使用最新NLP技術(shù)和深度學(xué)習(xí)框架開發(fā)和應(yīng)用AIGC大模型的能力，為學(xué)員提供全面的知識結(jié)構(gòu)，以解決實(shí)際問題并推動(dòng)NLP和AIGC技術(shù)的發(fā)展。
課程對象
本課程適合對AI深度學(xué)習(xí)、自然語言處理（NLP）、大模型開發(fā)感興趣的開發(fā)者、數(shù)據(jù)分析師等人群。本課程能為你提供全面的指導(dǎo)和幫助。通過本課程的學(xué)習(xí)，你將能夠更好地應(yīng)對實(shí)際工作中的挑戰(zhàn)，提升自己的職業(yè)競爭力。
學(xué)員需要具備python編程能力，熟悉python核心語法，python數(shù)據(jù)分析的方法。學(xué)員同時(shí)需要具備統(tǒng)計(jì)學(xué)理論基礎(chǔ)，對于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及自然語言處理的基本概念有一定的了解。
課程目標(biāo)
- 培養(yǎng)對NLP和AIGC技術(shù)的深刻理解和實(shí)踐能力。
- 訓(xùn)練學(xué)員使用最新的NLP技術(shù)和深度學(xué)習(xí)框架。
- 指導(dǎo)學(xué)員開發(fā)和應(yīng)用AIGC大模型。
- 提供全面的知識結(jié)構(gòu)，幫助學(xué)員解決實(shí)際問題。
- 推動(dòng)NLP和AIGC技術(shù)的發(fā)展。
課程收益
- 深入理解自然語言處理（NLP）的基礎(chǔ)知識和核心技術(shù)。
- 掌握文本預(yù)處理、清洗技術(shù)以及詞嵌入技術(shù)如Word2Vec和GloVe。
- 學(xué)習(xí)并應(yīng)用最新的深度學(xué)習(xí)模型，包括CNN、RNN、Transformer、BERT及其變體。
- 獲得實(shí)戰(zhàn)經(jīng)驗(yàn)，通過案例學(xué)習(xí)如何在AIGC和大模型研發(fā)中使用這些技術(shù)。
- 理解并實(shí)踐向量數(shù)據(jù)庫技術(shù)和LangChain的先進(jìn)應(yīng)用。
- 提高使用Python進(jìn)行數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的能力。
- 增強(qiáng)解決實(shí)際問題的能力，提升職業(yè)競爭力。
課程時(shí)長8天
課程大綱
| 時(shí)間 | 課程內(nèi)容 |
| 第一天 | 初識NLP
NLP定義
NLP在現(xiàn)實(shí)世界中的應(yīng)用
NLP的挑戰(zhàn)和限制
文本預(yù)處理
文本清洗
語言模型概述
n-gram語言模型
神經(jīng)網(wǎng)絡(luò)語言模型
語言模型的應(yīng)用
詞嵌入部分
詞向量概述
Word2Vec算法
GloVe算法
詞向量的應(yīng)用
文本分類
文本分類概述
樸素貝葉斯分類器 |
| 第二天 | 深度學(xué)習(xí)與PyTorch簡介
使用基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)，處理復(fù)雜數(shù)據(jù)。
PyTorch簡介：深度學(xué)習(xí)框架，動(dòng)態(tài)計(jì)算圖。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）簡介
CNN簡介：用于圖像處理的神經(jīng)網(wǎng)絡(luò)，特點(diǎn)是能夠捕捉空間特征。
一維卷積神經(jīng)網(wǎng)絡(luò)（CNN1D）簡介
基本概念：1D CNN是一種專門處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，類似于2D CNN處理圖像數(shù)據(jù)。它在數(shù)據(jù)的一維序列上應(yīng)用卷積。
主要用途：廣泛應(yīng)用于時(shí)間序列分析、自然語言處理等領(lǐng)域。
CNN1D的工作原理
卷積層：通過一維卷積核在輸入數(shù)據(jù)上滑動(dòng)，提取序列特征。
池化層：減少計(jì)算量，同時(shí)保持特征的重要信息。
全連接層：將卷積和池化層的輸出轉(zhuǎn)化為最終的輸出（如分類結(jié)果）。
CNN1D的網(wǎng)絡(luò)架構(gòu)
層的堆疊：通常包括多個(gè)卷積層和池化層，可以根據(jù)任務(wù)需求調(diào)整深度和寬度。
激活函數(shù)：ReLU或其他非線性激活函數(shù)用于引入非線性。
PyTorch實(shí)現(xiàn)CNN1D
模型定義：使用PyTorch定義1D CNN的結(jié)構(gòu)，包括卷積層（torch.nn.Conv1d）、池化層（如torch.nn.MaxPool1d）和全連接層（torch.nn.Linear）。
數(shù)據(jù)處理：將數(shù)據(jù)格式調(diào)整為1D CNN接受的形式，即[批大小, 通道數(shù), 序列長度]。
訓(xùn)練和評估：定義損失函數(shù)和優(yōu)化器，進(jìn)行模型的訓(xùn)練和評估。 |
| 第三天 | 使用PyTorch創(chuàng)建和訓(xùn)練RNN，用于語言建模等任務(wù)。
PyTorch深度學(xué)習(xí)實(shí)戰(zhàn)
實(shí)踐應(yīng)用：通過實(shí)際案例學(xué)習(xí)PyTorch，如自然語言處理。
PyTorch GPU安裝：安裝支持GPU的PyTorch版本。
單GPU環(huán)境配置
使用工具如nvidia-smi：監(jiān)控GPU性能和健康狀況。
深度學(xué)習(xí)在NLP中的應(yīng)用介紹
使用深度學(xué)習(xí)框架（如Keras或PyTorch）實(shí)現(xiàn)文本分類和情感分析
文本生成Transformer和深度學(xué)習(xí)模型
文本生成概述
語言模型生成
基于神經(jīng)網(wǎng)絡(luò)的文本生成
文本生成的應(yīng)用
機(jī)器翻譯
Transformer模型詳細(xì)知識點(diǎn)介紹
Transformer模型簡介
在自然語言處理中的應(yīng)用
與傳統(tǒng)序列模型（如RNN、LSTM）的比較
輸入表示
詞嵌入
詞嵌入的概念
詞嵌入與one-hot編碼的對比
位置編碼器
位置編碼的重要性
位置編碼的實(shí)現(xiàn)方式
Transformer架構(gòu)
編碼器-解碼器結(jié)構(gòu)
編碼器的作用和結(jié)構(gòu)
解碼器的作用和結(jié)構(gòu)
自注意力機(jī)制
注意力機(jī)制的概念
自注意力的計(jì)算過程 |
第四天 | 注意力機(jī)制
多頭注意力
多頭注意力的定義和作用
多頭注意力的實(shí)現(xiàn)細(xì)節(jié)
注意力算法
Q（Query）、K（Key）、V（Value）的概念
計(jì)算注意力權(quán)重的過程
Softmax函數(shù)在注意力機(jī)制中的作用
Softmax的定義
如何使用Softmax計(jì)算注意力分?jǐn)?shù)
Transformer編碼器
編碼器層的組成
自注意力層和前饋神經(jīng)網(wǎng)絡(luò)層
層歸一化和殘差連接
Transformer解碼器
解碼器層的組成
掩碼自注意力
編碼器-解碼器注意力
前饋網(wǎng)絡(luò)、層歸一化和殘差連接
訓(xùn)練過程
損失函數(shù)的選擇
優(yōu)化器和學(xué)習(xí)率調(diào)整
正則化技術(shù)
Transformer的應(yīng)用
機(jī)器翻譯
文本生成
語言理解任務(wù)
BERT模型概覽
BERT模型簡介
BERT與傳統(tǒng)Transformer的區(qū)別
BERT的雙向特性
BERT的創(chuàng)新點(diǎn)
雙向表示的重要性
如何實(shí)現(xiàn)真正的雙向上下文
預(yù)訓(xùn)練任務(wù)
掩碼語言模型（MLM）
下一句預(yù)測（NSP）
預(yù)訓(xùn)練過程詳解
掩碼語言模型（MLM）
MLM的原理和實(shí)現(xiàn)
MLM的訓(xùn)練過程
下一句預(yù)測（NSP）
NSP的原理
NSP在BERT中的作用 |
| 第五天 | BERT的架構(gòu)
BERT的網(wǎng)絡(luò)結(jié)構(gòu)
輸入表示：詞嵌入、片段嵌入和位置嵌入
輸出層的設(shè)計(jì)
BERT的訓(xùn)練策略
預(yù)訓(xùn)練的概念
訓(xùn)練數(shù)據(jù)的選擇和處理
訓(xùn)練過程中的技術(shù)細(xì)節(jié)
BERT在下游任務(wù)中的應(yīng)用
文本分類、問答系統(tǒng)、命名實(shí)體識別等
Tune BERT以適應(yīng)特定任務(wù)
實(shí)例分析和案例研究
BERT的變體和進(jìn)展
如RoBERTa、ALBERT和DistilBERT
BERT在其他領(lǐng)域的應(yīng)用
最新的研究和發(fā)展動(dòng)態(tài)
實(shí)踐練習(xí)和項(xiàng)目
BERT的實(shí)現(xiàn)和使用
實(shí)際數(shù)據(jù)集上的練習(xí)
在自然語言處理中的作用和應(yīng)用場景
向量數(shù)據(jù)庫簡介
向量數(shù)據(jù)庫的作用和重要性
常見的向量數(shù)據(jù)庫技術(shù)概述
向量數(shù)據(jù)庫詳細(xì)介紹
Pinecone
特點(diǎn)和優(yōu)勢
應(yīng)用場景
Chroma
功能和使用場景
其他向量數(shù)據(jù)庫
如Weaviate, Milvus, 和Faiss
它們的特點(diǎn)和比較 |
第六天 | LangChain概覽
LangChain簡介
LangChain的核心模塊
LlamaIndex的提示詞模板
結(jié)構(gòu)化輸出
LlamaIndex不同層次的多種模塊
數(shù)據(jù)管理，提供了現(xiàn)成的非結(jié)構(gòu)化文檔摘要索引來增強(qiáng)檢索??。
與LangChain集成：LlamaIndex可以集成到LangChain中，以優(yōu)化檢索能力??
評估模塊評估文檔檢索和響應(yīng)合成的質(zhì)量，專注于生成響應(yīng)與給定上下文的一致性??
可定制存儲(chǔ),提供了一個(gè)用戶友好的界面，用于攝取、索引和查詢外部數(shù)據(jù)
回調(diào)特性,提供了一個(gè)回調(diào)功能，用于調(diào)試、跟蹤和跟蹤內(nèi)部操作??
LangChain整合
提示詞工程實(shí)用工具
LangChain包括提示詞模板、輸出解析、記憶和檢索模型集成的實(shí)用工具??
代理和鏈開發(fā)
LangChain的agent代理和“鏈”開發(fā)跟上了LLM應(yīng)用的最新改進(jìn)??
LlamaIndex與LangChain對比
檢索和有效的數(shù)據(jù)結(jié)構(gòu)化
提供用于數(shù)據(jù)的自然語言訪問的不同引擎??
用于開發(fā)數(shù)據(jù)感知和代理式應(yīng)用，適用于原型設(shè)計(jì)和生產(chǎn)??
LLM應(yīng)用創(chuàng)造強(qiáng)大的協(xié)同作用
LangChain增強(qiáng)了基于代理的能力，LlamaIndex優(yōu)化了數(shù)據(jù)索引和檢索??
提示詞模塊
如何生成和優(yōu)化提示詞
提示詞在信息檢索中的應(yīng)用
記憶模塊
記憶的存儲(chǔ)和檢索
在復(fù)雜對話系統(tǒng)中的應(yīng)用
數(shù)據(jù)模塊
數(shù)據(jù)處理和管理
數(shù)據(jù)模塊與其他模塊的交互
Chain模塊
Chain模塊的構(gòu)建和工作原理
在自動(dòng)化決策和任務(wù)執(zhí)行中的應(yīng)用
LangChain的應(yīng)用案例
實(shí)際案例分析
如何在特定場景下應(yīng)用LangChain
實(shí)踐操作和練習(xí)
LangChain的安裝和配置
基于LangChain的小項(xiàng)目實(shí)操
LangChain的高級主題
定制和擴(kuò)展LangChain
QLORA優(yōu)化模型數(shù)據(jù)
QLORA簡介：
描述：QLORA（Query Language Optimized for Retrieval and Annotation）是一種用于增強(qiáng)語言模型查詢和檢索性能的方法。
實(shí)現(xiàn)細(xì)節(jié)：它通過優(yōu)化查詢的語言表示來提高檢索系統(tǒng)的準(zhǔn)確性和效率。
數(shù)據(jù)預(yù)處理：
描述：對原始數(shù)據(jù)集進(jìn)行清洗和格式化，以適應(yīng)QLORA模型。
實(shí)現(xiàn)細(xì)節(jié)：包括去除噪聲，標(biāo)準(zhǔn)化文本格式，以及確保數(shù)據(jù)質(zhì)量。
查詢優(yōu)化：
描述：對查詢語句進(jìn)行優(yōu)化，使其更加符合模型的處理方式。
實(shí)現(xiàn)細(xì)節(jié)：使用自然語言處理技術(shù)，如同義詞替換、關(guān)鍵詞提取，優(yōu)化查詢表達(dá)。
模型訓(xùn)練與調(diào)整：
描述：使用優(yōu)化后的數(shù)據(jù)訓(xùn)練QLORA模型。
實(shí)現(xiàn)細(xì)節(jié)：選擇合適的訓(xùn)練參數(shù)，如學(xué)習(xí)率和批處理大小，進(jìn)行模型訓(xùn)練。
性能評估：
描述：對優(yōu)化后的模型進(jìn)行性能評估。
實(shí)現(xiàn)細(xì)節(jié)：使用標(biāo)準(zhǔn)化的測試數(shù)據(jù)集，評估模型在各項(xiàng)指標(biāo)上的表現(xiàn)。
RAG常見步驟過程
RAG簡介：
描述：RAG結(jié)合了神經(jīng)檢索和生成模型，以提高回答生成的質(zhì)量和準(zhǔn)確性。
實(shí)現(xiàn)細(xì)節(jié)：它先從一個(gè)大型文檔集合中檢索相關(guān)信息，然后基于這些信息生成回答。
數(shù)據(jù)索引構(gòu)建：
描述：為文檔集合創(chuàng)建索引，以便高效檢索。
實(shí)現(xiàn)細(xì)節(jié)：使用向量化方法將文檔轉(zhuǎn)換成向量，并建立索引，如使用Elasticsearch或FAISS。
檢索相關(guān)文檔：
描述：基于用戶的查詢，從索引中檢索最相關(guān)的文檔。
實(shí)現(xiàn)細(xì)節(jié)：計(jì)算查詢向量與文檔向量間的相似度，返回得分最高的文檔，生成回答：
描述：使用檢索到的文檔作為上下文，生成回答。
實(shí)現(xiàn)細(xì)節(jié)：將檢索到的文本與查詢合并，輸入到生成模型（如GPT），產(chǎn)生回答。
回答優(yōu)化和校驗(yàn)：
描述：對生成的回答進(jìn)行優(yōu)化和校驗(yàn)，確保其準(zhǔn)確性和可信度。
實(shí)現(xiàn)細(xì)節(jié)：運(yùn)用后處理技術(shù)，如語句平滑和事實(shí)校驗(yàn)，提高回答的質(zhì)量。 |
第七天
實(shí)戰(zhàn)項(xiàng)目#1 | 與其他NLP工具和框架的集成Hugging Face生態(tài)系統(tǒng)概覽
安裝Hugging Face Transformers庫
模型加載與分詞器使用
加載預(yù)訓(xùn)練Transformer模型
使用Hugging Face Model Hub
安裝和配置
如何安裝Transformer類庫
環(huán)境配置和依賴管理
使用在線Hub
Hugging Face Hub的介紹
如何瀏覽和查找模型
模型下載和使用方法
獲取和使用API Key
API Key的作用和獲取方法
如何在代碼中配置和使用API Key
安全性和權(quán)限管理
Tokenization過程
Tokenizer的作用和原理
如何使用預(yù)訓(xùn)練的Tokenizer
自定義Tokenization規(guī)則
AutoModel的使用
AutoModel的概念和作用
如何自動(dòng)加載不同類型的預(yù)訓(xùn)練模型
AutoModel和特定模型類的對比
選擇適當(dāng)?shù)念A(yù)訓(xùn)練模型
訓(xùn)練一個(gè)文本分類模型
實(shí)戰(zhàn)案例分享
基于生成的對話系統(tǒng)案例分析：
基于Llama模型的智能客服問答系統(tǒng)QA? chatbot的制作
利用Llama模型，通過訓(xùn)練中文詞向量實(shí)現(xiàn)智能客服問答系統(tǒng)。該系統(tǒng)可以自動(dòng)處理客戶的問題，提供快速而準(zhǔn)確的答案。通過對歷史問答數(shù)據(jù)的分析，系統(tǒng)能夠快速理解客戶的問題，并根據(jù)上下文提供精確的答案。該系統(tǒng)可大大提高客戶滿意度，減少人工客服的工作量。 |
第八天
實(shí)戰(zhàn)項(xiàng)目#2 | 基于ChatGPT 與langchain API的智能營銷推薦系統(tǒng)
使用ChatGPT 與langchain API，通過分析用戶的通話記錄和行為數(shù)據(jù)，為用戶提供個(gè)性化的營銷推薦服務(wù)。通過使用自然語言處理技術(shù)和聊天機(jī)器人技術(shù)，該系統(tǒng)可以自動(dòng)分析用戶需求，提供最適合用戶的產(chǎn)品和服務(wù)，從而提高用戶的滿意度和忠誠度。
基于QA問答和Pinecone數(shù)據(jù)庫模型的自動(dòng)化客戶服務(wù)系統(tǒng)
使用QA問答和Pinecone數(shù)據(jù)庫模型技術(shù)，創(chuàng)建了一個(gè)自動(dòng)化客戶服務(wù)系統(tǒng)。該系統(tǒng)可以快速回答用戶的問題，提高客戶滿意度和忠誠度。該系統(tǒng)不僅可以回答一般的問題，還可以根據(jù)用戶的個(gè)性化需求提供特定的服務(wù)和產(chǎn)品推薦。此外，該系統(tǒng)還可以根據(jù)用戶歷史行為數(shù)據(jù)進(jìn)行分析和預(yù)測，提供更加個(gè)性化的服務(wù)。該系統(tǒng)的投入使用，大大提高了客戶服務(wù)質(zhì)量，帶來了可觀的經(jīng)濟(jì)效益。 |
為什么選擇艾威
自2003年成立以來，艾威公司一直是技術(shù)培訓(xùn)領(lǐng)域的先驅(qū)，為成千上萬的專業(yè)人士提供了高質(zhì)量的學(xué)習(xí)資源。選擇艾威培訓(xùn)，不僅意味著獲取最新的行業(yè)知識和技能，還意味著成為一個(gè)專業(yè)、支持和創(chuàng)新的社區(qū)的一部分。
培訓(xùn)咨詢
艾威國際網(wǎng)校
艾威天貓旗艦店
艾威官方微信
艾威網(wǎng)校官方微信
艾威官方視頻號
艾威知乎號
企業(yè)微信客服
2025全年課表
查看全部課程
