PDF Giáo trình trí tuệ nhân tạo cơ sở và ứng dụng, ngành kỹ thuật máy tính, Trương Ngọc Sơn

Giáo trình trí tuệ nhân tạo cơ sở và ứng dụng, ngành kỹ thuật máy tính, Trương Ngọc Sơn

 

MỤC LỤC
LỜI NÓI ĐẦU.......................................................................................... 3
Chương 1 TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO......................... 11
1.1. TRÍ TUỆ NHÂN TẠO, MÁY HỌC, HỌC SÂU VÀ MẠNG
NƠ-RON NHÂN TẠO...................................................................... 11
1.2. NƠ-RON NHÂN TẠO...................................................................... 12
1.2.1. Nơ-ron sinh học....................................................................... 12
1.2.2. Nơ-ron nhân tạo....................................................................... 14
1.3. CÁC ỨNG DỤNG CỦA TRÍ TUỆ NHÂN TẠO............................. 15
1.4. CÁC HƯỚNG TIẾP CẬN KHOA HỌC TRÍ TUỆ NHÂN TẠO........... 16
Chương 2 MẠNG NƠ-RON NHÂN TẠO........................................... 18
2.1. GIỚI THIỆU...................................................................................... 18
2.2. MÔ HÌNH HOÁ NƠ-RON SINH HỌC............................................ 18
2.3. MẠNG NƠ-RON NHÂN TẠO........................................................ 21
2.4. HUẤN LUYỆN MẠNG NƠ-RON NHÂN TẠO............................. 23
2.5. MỘT SỐ KIẾN TRÚC MẠNG NƠ-RON NHÂN TẠO.................. 26
2.5.1. Perceptron nơ-ron.................................................................... 27
2.5.2. Mạng nhiều lớp lan truyền thẳng (Multilayer feed forward
neural network).................................................................................. 27
2.5.3. Mạng nơ-ron hàm cơ sở xuyên tâm (Radius Basic Neural
Network)............................................................................................ 28
2.5.4. Mạng nơ-ron tích chập (Convolutional Neural Network)......... 28
2.5.5. Mạng hồi quy (Recurrent Neural Network)............................ 29
Chương 3 HUẤN LUYỆN MẠNG NƠ-RON...................................... 30
3.1. GIỚI THIỆU...................................................................................... 30
3.2. PERCEPTRON NƠ-RON................................................................. 30
3.2.1. Giới thiệu................................................................................. 30
3.2.2. Quy luật huấn luyện Perceptron nơ-ron.................................. 34
3.2.3. Phương pháp giảm độ dốc và quy luật Delta.......................... 38
6
3.2.4. Áp dụng phương pháp xấp xỉ ngẫu nhiên cho quá trình
giảm dần độ dốc................................................................................ 45
3.3. MẠNG NHIỀU LỚP VÀ GIẢI THUẬT LAN TRUYỀN NGƯỢC...........51
3.3.1. Các hàm kích hoạt phi tuyến................................................... 52
3.3.3. Giải thuật lan truyền ngược (Backpropagarion Algorithm).......... 57
3.3.4. Sử dụng động lượng trong giải thuật lan truyền ngược........... 73
3.4. HÀM LỖI – HÀM MẤT MÁT......................................................... 76
3.4.1. Hàm lỗi, Cost function và Loss function................................. 76
3.4.2. Sai số bình phương trung bình................................................ 76
3.4.3. Cross-Entropy.......................................................................... 77
3.5. BATCH VÀ MINI-BATCH............................................................... 77
3.6. THIẾT KẾ MẠNG NƠ-RON NHIỀU LỚP VỚI THƯ VIỆN
KERAS.................................................................................................... 84
Chương 4: MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL
NEURAL NETWORK)......................................................................... 93
4.1. PHÉP TÍNH TÍCH CHẬP................................................................. 93
4.1.1. Hệ thống tuyến tính bất biến theo thời gian và hệ thống
tuyến tính dịch bất biến..................................................................... 93
4.1.2. Tích chập đối với tín hiệu trong không gian 1 chiều............... 95
4.1.3. Tích chập trong không gian 2 chiều........................................ 98
4.1.4. Hàm bước đơn vị trong không gian 2 chiều............................ 99
4.1.5. Tích chập trong không gian 2 chiều của tín hiệu với một
đáp ứng hàm bước đơn vị của hệ thống tuyến tính bất biến............ 100
4.1.6. Tích chập trong không gian 2 chiều của một ảnh với đáp
ứng của các hệ thống tuyến tính bất biến khác nhau....................... 103
4.2. MẠNG NƠ-RON TÍCH CHẬP...................................................... 105
4.2.1. Kiến trúc tổng quát của mạng nơ-ron tích chập.................... 107
4.2.2. Lớp convolution.................................................................... 108
4.2.3. Lớp hàm kích hoạt................................................................. 111
4.2.4. Lớp pooling........................................................................... 111
4.2.5. Lớp kết nối đủ....................................................................... 113
4.3. HUẤN LUYỆN MẠNG NƠ-RON TÍCH CHẬP........................... 114
4.3.1. Lan truyền ngược qua lớp tích chập...................................... 114
4.3.2. Lan truyền ngược qua lớp Pooling........................................ 117
7
4.4. THIẾT KẾ VÀ HUẤN LUYỆN MẠNG CNN............................... 119
4.4.1. Thiết kế mạng CNN với thư viện Tensoflow......................... 119
4.4.2. Thiết kế mạng CNN với thư viện Keras................................ 125
Chương 5: MẠNG NƠ-RON HỒI QUY (RECURRENT NEURAL
NETWORK)......................................................................................... 128
5.1. GIỚI THIỆU MẠNG NƠ-RON HỒI QUY.................................... 128
5.2. LAN TRUYỀN NGƯỢC THEO THỜI GIAN............................... 133
5.3. HIỆN TƯỢNG GRADIENT TRỞ NÊN QUÁ NHỎ HOẶC
QUÁ LỚN TRONG MẠNG NƠ-RON HỒI QUY............................... 138
5.4. THIẾT KẾ MẠNG NƠ-RON HỒI QUY........................................ 140
5.4.1. Mạng nơ-ron hồi quy cơ bản................................................. 140
5.4.2. Thiết kế mạng nơ-ron hồi quy với thư viện Keras................ 147
5.5. LONG SHORT-TERM MEMORY (LSTM)................................... 153
5.6. THIẾT KẾ CÁC MẠNG LSTM..................................................... 157
5.7. MÔ HÌNH ENCODER – DECODER............................................. 159
Chương 6: HỌC SÂU VÀ ỨNG DỤNG (DEEP LEARNING
AND ITS APPLICATIONS)............................................................... 163
6.1. HỌC SÂU (DEEP LEARNING).................................................... 163
6.2. ỨNG DỤNG HỌC SÂU TRONG THỊ GIÁC MÁY TÍNH....... 165
6.2.1. Phân loại ảnh (image classification)...................................... 165
6.2.2. Phát hiện đối tượng (Object detection)................................. 167
6.2.3. Phân đoạn đối tượng (Object Segmentation)........................ 168
6.2.4. Chuyển mẫu (Style transfer).................................................. 169
6.2.5. Theo dõi đối tượng (Object tracking).................................... 170
6.3. PHÂN LOẠI ẢNH VỚI MÔ HÌNH MẠNG HỌC SÂU................ 170
6.3.1. Ứng dụng mạng nơ-ron tích chập nhận dạng tập ảnh
CIFAR-10........................................................................................ 170
6.3.2. Cải thiện tỷ lệ nhận dạng tập dữ liệu CIFAR-10 với mạng
học sâu............................................................................................. 178
6.3.3. Triển khai các mạng học sâu với tập dữ liệu lớn................... 184
6.3.3.1. Mạng VGG16.............................................................. 185
6.3.3.2. Nhận dạng ảnh với mạng VGG16............................... 187
8
6.4. ỨNG DỤNG HỌC SÂU TRONG XỬ LÝ NGÔN NGỮ
TỰ NHIÊN............................................................................................ 193
6.4.1. Giới thiệu............................................................................... 193
6.4.2. Xử lý văn bản........................................................................ 194
6.4.3. Bài toán phân loại cảm xúc (Sentiment classification).......203
6.4.4. Mô hình Sequence-to-sequence............................................. 213
6.4.5. Thiết kế mô hình sequence-to-sequence chuyển đổi từ
tiếng Anh sang tiếng Pháp............................................................... 213
6.5. CHUYỂN LỜI NÓI THÀNH VĂN BẢN (SPEECH TO TEXT).........223
6.5.1. Giới thiệu............................................................................... 223
6.5.2. Trích rút đặc trưng tín hiệu lời nói........................................ 224
6.5.3. Thiết kế nhận dạng lời nói với mạng nơ-ron học sâu ........ 226
6.5.4. Chuyển đổi lời nói sang văn bản sử dụng các thư viện
mã nguồn mở................................................................................... 232
PHỤ LỤC............................................................................................. 242
TÀI LIỆU THAM KHẢO................................................................... 243