Đừng bỏ lỡ cheat sheet Keras , trong đó trình bày sáu bước bạn cần thực hiện để xây dựng mạng nơ-ron trong Python kèm ví dụ mã!
Giới thiệu Mạng Nơ-ron Nhân tạo
Trước khi đi sâu vào Keras và cách dùng nó để bắt đầu học sâu với Python, bạn nên biết đôi chút về mạng nơ-ron. Như bạn đã đọc lướt ở phần trước, mạng nơ-ron lấy cảm hứng từ sinh học, nơi thuật ngữ “mạng nơ-ron” cũng được dùng cho các nơ-ron. Não người là một ví dụ về mạng nơ-ron như vậy, được cấu thành từ nhiều nơ-ron.
Và như bạn biết, não có khả năng thực hiện những phép tính rất phức tạp, đó chính là nguồn cảm hứng cho Mạng Nơ-ron Nhân tạo. Mạng như một tổng thể là một công cụ mô hình hóa mạnh mẽ.
Perceptron
Mạng nơ-ron đơn giản nhất là “perceptron”, ở dạng đơn giản nhất, gồm một nơ-ron. Tương tự nơ-ron sinh học, có sợi nhánh và sợi trục, một nơ-ron nhân tạo đơn là một cấu trúc cây đơn giản có các nút đầu vào và một nút đầu ra, nút đầu ra này nối với từng nút đầu vào. Dưới đây là so sánh trực quan giữa hai loại:
Như bạn thấy trong hình, nơ-ron nhân tạo có sáu thành phần. Từ trái sang phải, gồm:
Các nút đầu vào . Mỗi nút đầu vào đi kèm một giá trị số, có thể là bất kỳ số thực nào. Hãy nhớ rằng số thực bao phủ toàn bộ phổ số: có thể dương hoặc âm, nguyên hoặc thập phân.
Liên kết . Tương tự, mỗi liên kết đi ra từ nút đầu vào có một trọng số đi kèm, cũng có thể là bất kỳ số thực nào.
Tiếp theo, toàn bộ giá trị của các nút đầu vào và trọng số của các liên kết được kết hợp lại: chúng được dùng làm đầu vào cho tổng có trọng số : \(y = f(\sum_{i=1}^{D} w_i*x_i)\) , hay nói cách khác, \(y = f(w_1*x_1 + w_2*x_2 + ... w_D*x_D)\) .
Kết quả này sẽ là đầu vào cho một hàm chuyển hoặc hàm kích hoạt . Ở trường hợp đơn giản nhưng tầm thường, hàm chuyển có thể là hàm đồng nhất, \(f(x)=x\) hoặc \(y=x\) . Khi đó, \(x\) là tổng có trọng số của các nút đầu vào và các liên kết. Tuy nhiên, cũng như nơ-ron sinh học chỉ “phát xung” khi vượt một ngưỡng nhất định, nơ-ron nhân tạo cũng chỉ phát xung khi tổng đầu vào vượt quá một ngưỡng, ví dụ 0. Điều này bạn sẽ không thấy ở hàm đồng nhất! Cách trực quan nhất là nghĩ ra một hệ như sau:
\(f(x) = 0\) nếu \(x<0\) \(f(x) = 0.5\) nếu \(x=0\) \(f(x) = 1\) nếu \(x>0\)
Dĩ nhiên, bạn có thể hình dung đầu ra sẽ không phải là một đường mượt: đó là hàm gián đoạn. Vì điều này có thể gây vấn đề trong xử lý toán học, một biến thể liên tục, là hàm sigmoid, thường được dùng. Một ví dụ về hàm sigmoid mà bạn có thể đã biết là hàm logistic. Dùng hàm này cho kết quả mượt hơn nhiều!
Kết quả là bạn có nút đầu ra , gắn với hàm (như hàm sigmoid) của tổng có trọng số các nút đầu vào. Lưu ý hàm sigmoid là một hàm toán học cho đường cong hình “S”; Bạn sẽ đọc thêm về điều này sau.
Cuối cùng, perceptron có thể có một tham số bổ sung, gọi là độ lệch (bias) , bạn có thể coi như trọng số gắn với một nút đầu vào bổ sung luôn cố định bằng 1. Giá trị bias rất quan trọng vì nó cho phép bạn tịnh tiến hàm kích hoạt sang trái hoặc phải, điều này có thể quyết định sự thành công của việc học.
Lưu ý hệ quả logic của mô hình này là perceptron chỉ làm việc với dữ liệu số. Điều này có nghĩa bạn cần chuyển đổi mọi dữ liệu định danh sang định dạng số.
Giờ bạn đã biết perceptron hoạt động với các ngưỡng, bước tiếp theo để dùng chúng cho mục đích phân loại không còn xa: perceptron có thể quy ước rằng bất kỳ đầu ra nào vượt một ngưỡng nhất định cho thấy một mẫu thuộc về một lớp, trong khi đầu ra dưới ngưỡng có thể là thành viên của lớp còn lại. Đường thẳng nơi đầu ra bằng ngưỡng chính là ranh giới giữa hai lớp.
Perceptron Nhiều Lớp
Mạng của các perceptron là perceptron nhiều lớp, và đây là những gì hướng dẫn này sẽ triển khai trong Python với sự trợ giúp của Keras! Perceptron nhiều lớp còn được biết đến là “mạng nơ-ron truyền thẳng” (feed-forward). Như bạn có thể đoán, chúng phức tạp hơn perceptron đơn, vì gồm nhiều nơ-ron được tổ chức theo lớp. Số lớp thường giới hạn trong hai hoặc ba, nhưng về lý thuyết thì không có giới hạn!
Các lớp hoạt động rất giống với nơ-ron sinh học mà bạn đã đọc ở trên: đầu ra của một lớp là đầu vào cho lớp tiếp theo.
Giữa các lớp, bạn có thể phân biệt lớp đầu vào, các lớp ẩn và lớp đầu ra. Perceptron nhiều lớp thường kết nối đầy đủ. Điều này có nghĩa là có một kết nối từ mỗi perceptron trong một lớp cụ thể đến mỗi perceptron ở lớp kế tiếp. Dù kết nối đầy đủ không bắt buộc, nhưng thường là như vậy.
Lưu ý trong khi perceptron chỉ biểu diễn được các ranh giới phân tách tuyến tính giữa các lớp, perceptron nhiều lớp vượt qua hạn chế đó và cũng có thể biểu diễn các ranh giới quyết định phức tạp hơn.
Dự đoán Loại Rượu Vang trong Python với Keras
Cho hướng dẫn này, bạn sẽ dùng tập dữ liệu chất lượng rượu vang mà bạn có thể tìm thấy trong tập dữ liệu chất lượng rượu vang từ UCI Machine Learning Repository. Lý tưởng là bạn thực hiện học sâu trên tập dữ liệu lớn hơn, nhưng cho mục đích hướng dẫn, bạn sẽ dùng tập nhỏ hơn. Chủ yếu vì mục tiêu là giúp bạn bắt đầu với thư viện và làm quen với cách mạng nơ-ron hoạt động.
Có thể bạn đã biết tập dữ liệu này, vì nó là một trong những tập phổ biến nhất để bắt đầu học cách giải quyết bài toán học máy. Trong trường hợp này, nó sẽ giúp bạn bắt đầu với học sâu trong Python bằng Keras.
Hãy bắt đầu nào!
Hiểu Dữ liệu
Tuy nhiên, trước khi bạn bắt đầu nạp dữ liệu, có lẽ nên kiểm tra xem bạn thực sự biết bao nhiêu về rượu vang (liên quan đến tập dữ liệu, dĩ nhiên). Hầu hết các bạn sẽ biết rằng nói chung có hai loại rượu vang rất phổ biến: vang đỏ và vang trắng.
(Chắc chắn còn nhiều loại khác, nhưng để đơn giản và vì kiến thức hạn chế về rượu của tôi, tôi sẽ chỉ nói đến hai loại này. Xin lỗi nếu điều đó làm các chuyên gia chân chính trong các bạn thất vọng :)).
Biết điều này mới chỉ là một phần, nhưng nếu muốn phân tích dữ liệu, bạn sẽ cần biết thêm đôi chút.
Đầu tiên, hãy xem thư mục mô tả dữ liệu để biết những biến nào được đưa vào. Đây thường là bước đầu tiên để hiểu dữ liệu của bạn. Truy cập trang này để xem mô tả hoặc tiếp tục đọc để hiểu dữ liệu của bạn rõ hơn một chút.
Dữ liệu gồm hai tập liên quan đến hai biến thể đỏ và trắng của rượu Bồ Đào Nha “Vinho Verde”. Như mô tả đã nêu, bạn sẽ chỉ thấy các biến hóa lý và cảm quan trong tập dữ liệu này. Tệp mô tả dữ liệu liệt kê 12 biến được đưa vào dữ liệu, nhưng với những ai, như tôi, cũng không phải chuyên gia hóa học, dưới đây là mô tả ngắn cho từng biến:
Axit cố định : axit là thuộc tính chủ đạo của rượu và đóng góp lớn vào vị rượu. Thông thường, tổng độ chua được chia thành hai nhóm: axit bay hơi và axit không bay hơi hoặc axit cố định. Trong số các axit cố định có trong rượu gồm: tartaric, malic, citric và succinic. Biến này được biểu diễn bằng g(\(tartaric acid\) )/\(dm^3\) trong tập dữ liệu.
Axit bay hơi : axit bay hơi về cơ bản là quá trình rượu chuyển thành giấm. Ở Mỹ, giới hạn pháp lý của Axit bay hơi là 1.2 g/L cho rượu đỏ bàn và 1.1 g/L cho rượu trắng bàn. Trong các tập dữ liệu này, axit bay hơi được biểu diễn bằng g(\(acetic acid\) )/\(dm^3\) .
Axit citric là một trong các axit cố định có trong rượu. Nó được biểu diễn bằng g/\(dm^3\) trong hai tập dữ liệu.
Đường dư thường chỉ lượng đường còn lại sau khi quá trình lên men dừng (hoặc bị dừng). Biểu diễn bằng g/\(dm^3\) trong dữ liệu red và white.
Clorua có thể góp phần đáng kể vào vị mặn của rượu. Ở đây, bạn sẽ thấy nó được biểu diễn bằng g(\(sodium chloride\) )/\(dm^3\) .
SO2 tự do : phần sulfur dioxide được thêm vào rượu và bị “mất” vào đó được gọi là “liên kết”, trong khi phần hoạt động được gọi là “tự do”. Người làm rượu sẽ luôn cố gắng đạt tỷ lệ SO2 tự do cao nhất so với phần liên kết. Biến này được biểu diễn bằng mg/\(dm^3\) trong dữ liệu.
Tổng SO2 là tổng của SO2 liên kết và tự do. Ở đây, biểu diễn bằng mg/\(dm^3\) . Có giới hạn pháp lý cho mức SO2 trong rượu: ở EU, rượu đỏ chỉ được có 160mg/L, trong khi rượu trắng và hồng có khoảng 210mg/L. Rượu ngọt được phép 400mg/L. Với Mỹ, giới hạn là 350mg/L, và Úc là 250mg/L.
Tỷ trọng thường được dùng làm thước đo mức chuyển đổi từ đường sang cồn. Ở đây, biểu diễn bằng g/\(cm^3\) .
pH hay thế hydro là thang đo số để xác định độ axit hoặc bazơ của rượu. Như bạn biết, dung dịch có pH nhỏ hơn 7 là axit, lớn hơn 7 là bazơ. Với pH bằng 7, nước tinh khiết là trung tính. Hầu hết rượu có pH trong khoảng 2.9 đến 3.9 và do đó là axit.
Sulfate đối với rượu như gluten đối với thực phẩm. Bạn có thể đã biết sulfite do các cơn đau đầu mà chúng gây ra. Chúng là một phần thường nhật của quy trình làm rượu trên khắp thế giới và được coi là cần thiết. Ở đây, chúng được biểu diễn bằng g(\(potassium sulphate\) )/\(dm^3\) .
Cồn : rượu là đồ uống có cồn, và như bạn biết, phần trăm cồn có thể khác nhau giữa các loại rượu. Không ngạc nhiên khi biến này được đưa vào tập dữ liệu, nơi nó được biểu diễn bằng % vol.
Chất lượng : các chuyên gia rượu chấm điểm chất lượng rượu từ 0 (rất tệ) đến 10 (rất xuất sắc). Con số cuối cùng là trung vị của ít nhất ba đánh giá của chính các chuyên gia đó.
Tất cả những điều này dĩ nhiên là thông tin rất cơ bản mà bạn có thể cần biết để bắt đầu. Nếu bạn là một người sành rượu thực thụ, có lẽ bạn biết tất cả và còn nhiều hơn nữa!
Giờ là lúc lấy dữ liệu!
Nạp Dữ liệu
Điều này có thể thực hiện dễ dàng với thư viện thao tác dữ liệu Pandas của Python. Bạn tuân theo quy ước nhập và import gói này với bí danh pd.
Tiếp theo, bạn dùng hàm read_csv() để đọc các tệp CSV chứa dữ liệu. Ngoài ra, dùng tham số sep để chỉ định rằng dấu phân tách trong trường hợp này là dấu chấm phẩy, không phải dấu phẩy.
Hãy thử trong khối DataCamp Light dưới đây:
# Import pandas
import pandas as pd
# Read in white wine data
white = ___________("http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv", sep=';')
# Read in red wine data
red = ___________("http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv", sep=';')
Tuyệt vời! Dễ như ăn bánh, phải không?
Có lẽ bạn đã làm điều này cả nghìn lần, nhưng đây luôn là bước thiết yếu để bắt đầu. Giờ bạn đã sẵn sàng để khám phá, thao tác và mô hình hóa dữ liệu!
Khám phá Dữ liệu
Với dữ liệu trong tay, thật dễ để bạn tìm hiểu thêm về các loại rượu này! Một trong những việc đầu tiên có lẽ bạn muốn làm là xem nhanh cả hai DataFrame của mình:
# Print info on white wine
_____(white.____())
# Print info on red wine
_____(red.____())
Bây giờ là lúc kiểm tra việc import có thành công không: kiểm tra kỹ liệu dữ liệu có chứa tất cả biến như tệp mô tả dữ liệu của UCI Machine Learning Repository đã hứa. Ngoài số lượng biến, cũng hãy kiểm tra chất lượng import: kiểu dữ liệu có đúng không? Tất cả các hàng đã được nạp hết chưa? Có giá trị null nào bạn cần lưu ý khi dọn dẹp dữ liệu không?
Bạn cũng có thể muốn xem dữ liệu nhiều hơn là chỉ với info():
# First rows of `red`
red.____()
# Last rows of `white`
white.____()
# Take a sample of 5 rows of `red`
red.______(5)
# Describe `white`
white.________()
# Double check for null values in `red`
pd.isnull(red)
Tóm tắt nhanh về các hàm pandas này: bạn thấy rằng head(), tail() và sample() rất tuyệt vì chúng cho bạn cách xem nhanh dữ liệu mà không phiền toái.
Tiếp theo, describe() cung cấp một số thống kê tóm tắt về dữ liệu, có thể giúp bạn đánh giá chất lượng dữ liệu. Bạn thấy một số biến có sự khác biệt lớn giữa giá trị min và max. Đây là điều bạn sẽ xử lý sau, còn lúc này chỉ cần lưu ý.
Cuối cùng, bạn đã kiểm tra lại sự hiện diện của các giá trị null trong red với isnull(). Đây là một hàm hữu ích khi bạn vẫn còn nghi ngờ sau khi đọc kết quả của info().
Mẹo : cũng hãy kiểm tra xem dữ liệu vang trắng có chứa giá trị null không. Bạn có thể làm việc này bằng IPython shell của khối DataCamp Light ngay phía trên.
Giờ bạn đã kiểm tra dữ liệu để xem việc import có thành công và đúng đắn, đã đến lúc đào sâu hơn một chút.
Trực quan hóa Dữ liệu
Một cách để làm điều này là xem phân phối của một số biến trong tập dữ liệu và vẽ biểu đồ phân tán để quan sát các tương quan có thể có. Tất nhiên, bạn có thể nâng tầm việc này hơn nhiều nếu dùng dữ liệu cho dự án riêng.
Cồn
Một biến có thể bạn quan tâm ngay từ đầu là alcohol. Đây có lẽ là một trong những thứ đầu tiên thu hút sự chú ý khi bạn xem xét một tập dữ liệu rượu. Bạn có thể trực quan hóa phân phối bằng bất kỳ thư viện trực quan hóa dữ liệu nào, nhưng trong trường hợp này, hướng dẫn dùng matplotlib để vẽ nhanh phân phối:
import matplotlib.pyplot as plt
fig, ax = plt.subplots(1, 2)
ax[0].hist(red.alcohol, 10, facecolor='red', alpha=0.5, label="Red wine")
ax[1].hist(white.alcohol, 10, facecolor='white', ec="black", lw=0.5, alpha=0.5, label="White wine")
fig.subplots_adjust(left=0, right=1, bottom=0, top=0.5, hspace=0.05, wspace=1)
ax[0].set_ylim([0, 1000])
ax[0].set_xlabel("Alcohol in % Vol")
ax[0].set_ylabel("Frequency")
ax[1].set_xlabel("Alcohol in % Vol")
ax[1].set_ylabel("Frequency")
#ax[0].legend(loc='best')
#ax[1].legend(loc='best')
fig.suptitle("Distribution of Alcohol in % Vol")
plt.show()
Như bạn thấy trong hình dưới đây, mức cồn giữa rượu đỏ và rượu trắng phần lớn tương tự: khoảng 9% cồn. Tất nhiên, cũng có lượng quan sát đáng kể ở mức 10% hoặc 11%.
Lưu ý bạn có thể kiểm tra lại điều này nếu dùng hàm histogram() từ gói numpy để tính histogram của dữ liệu white và red, như sau:
import numpy as np
print(np.histogram(red.alcohol, bins=[7,8,9,10,11,12,13,14,15]))
print(np.histogram(white.alcohol, bins=[7,8,9,10,11,12,13,14,15]))
Nếu bạn quan tâm đến các hướng dẫn matplotlib, nhớ xem hướng dẫn Matplotlib cho người mới và hướng dẫn Xem dữ liệu thể tích 3D , cho thấy cách dùng event handler API của Matplotlib.
Sulfate
Tiếp theo, điều tôi quan tâm là mối quan hệ giữa sulfate và chất lượng rượu. Như bạn đọc ở trên, sulfate có thể gây đau đầu, và tôi tự hỏi điều này có ảnh hưởng đến chất lượng rượu không. Hơn nữa, tôi thường nghe rằng phụ nữ đặc biệt không muốn uống rượu vì nó gây đau đầu. Có lẽ điều này ảnh hưởng đến điểm đánh giá cho rượu đỏ?
Hãy cùng xem.
import matplotlib.pyplot as plt
fig, ax = plt.subplots(1, 2, figsize=(8, 4))
ax[0].scatter(red['quality'], red["sulphates"], color="red")
ax[1].scatter(white['quality'], white['sulphates'], color="white", edgecolors="black", lw=0.5)
ax[0].set_title("Red Wine")
ax[1].set_title("White Wine")
ax[0].set_xlabel("Quality")
ax[1].set_xlabel("Quality")
ax[0].set_ylabel("Sulphates")
ax[1].set_ylabel("Sulphates")
ax[0].set_xlim([0,10])
ax[1].set_xlim([0,10])
ax[0].set_ylim([0,2.5])
ax[1].set_ylim([0,2.5])
fig.subplots_adjust(wspace=0.5)
fig.suptitle("Wine Quality by Amount of Sulphates")
plt.show()
Như bạn thấy trong hình dưới, rượu đỏ dường như chứa nhiều sulfate hơn rượu trắng, vốn có ít sulfate vượt 1 g/\(dm^3\) hơn. Với rượu trắng, chỉ có vài ngoại lệ vượt nhẹ 1 g/\(dm^3\) , trong khi rượu đỏ thì nhiều hơn rõ rệt. Điều này có thể giải thích câu nói chung rằng rượu đỏ gây đau đầu, nhưng còn chất lượng thì sao?
Bạn có thể thấy rõ có rượu trắng với lượng sulfate tương đối thấp mà nhận điểm 9, nhưng còn lại thì hiện tại khó diễn giải dữ liệu chính xác.
Tất nhiên, bạn cần tính đến việc khác biệt về số lượng quan sát cũng có thể ảnh hưởng đến biểu đồ và cách bạn diễn giải chúng.
Độ axit
Bên cạnh sulfate, độ axit là một trong những đặc tính lớn và thiết yếu của rượu để đạt chất lượng. Những chai rượu tuyệt vời thường cân bằng giữa độ axit, tanin, cồn và độ ngọt. Một số nghiên cứu cho tôi biết rằng ở lượng 0.2 đến 0.4 g/L, axit bay hơi không ảnh hưởng đến chất lượng rượu. Tuy nhiên ở mức cao hơn, axit bay hơi có thể gây cảm giác gắt, chua như giấm. Độ axit bay hơi cực đoan biểu hiện một chai rượu lỗi nghiêm trọng.
Hãy kiểm chứng dữ liệu và vẽ biểu đồ phân tán giữa cồn và axit bay hơi. Các điểm dữ liệu sẽ được tô màu theo nhãn đánh giá hoặc quality:
import matplotlib.pyplot as plt
import numpy as np
np.random.seed(570)
redlabels = np.unique(red['quality'])
whitelabels = np.unique(white['quality'])
import matplotlib.pyplot as plt
fig, ax = plt.subplots(1, 2, figsize=(8, 4))
redcolors = np.random.rand(6,4)
whitecolors = np.append(redcolors, np.random.rand(1,4), axis=0)
for i in range(len(redcolors)):
redy = red['alcohol'][red.quality == redlabels[i]]
redx = red['volatile acidity'][red.quality == redlabels[i]]
ax[0].scatter(redx, redy, c=redcolors[i])
for i in range(len(whitecolors)):
whitey = white['alcohol'][white.quality == whitelabels[i]]
whitex = white['volatile acidity'][white.quality == whitelabels[i]]
ax[1].scatter(whitex, whitey, c=whitecolors[i])
ax[0].set_title("Red Wine")
ax[1].set_title("White Wine")
ax[0].set_xlim([0,1.7])
ax[1].set_xlim([0,1.7])
ax[0].set_ylim([5,15.5])
ax[1].set_ylim([5,15.5])
ax[0].set_xlabel("Volatile Acidity")
ax[0].set_ylabel("Alcohol")
ax[1].set_xlabel("Volatile Acidity")
ax[1].set_ylabel("Alcohol")
#ax[0].legend(redlabels, loc='best', bbox_to_anchor=(1.3, 1))
ax[1].legend(whitelabels, loc='best', bbox_to_anchor=(1.3, 1))
#fig.suptitle("Alcohol - Volatile Acidity")
fig.subplots_adjust(top=0.85, wspace=0.7)
plt.show()
Lưu ý rằng màu sắc trong hình này được chọn ngẫu nhiên nhờ mô-đun random của NumPy. Bạn luôn có thể thay đổi bằng cách truyền một danh sách cho biến redcolors hoặc whitecolors. Hãy đảm bảo chúng giống nhau (trừ 1 vì dữ liệu rượu trắng có nhiều giá trị quality duy nhất hơn rượu đỏ), nếu không chú giải sẽ không khớp!
Xem toàn bộ biểu đồ tại đây:
Trong hình trên, bạn thấy các mức đã đọc ở trên đặc biệt đúng với rượu trắng: hầu hết rượu mang nhãn 8 có độ axit bay hơi ở mức 0.5 hoặc thấp hơn, nhưng việc nó có ảnh hưởng đến chất lượng hay không thì quá khó để nói, vì tất cả điểm dữ liệu dày đặc về một phía của biểu đồ.
Đây chỉ là bước khám phá dữ liệu nhanh. Nếu bạn muốn mở rộng bước này trong dự án của riêng mình, hãy cân nhắc đọc các bài viết về khám phá dữ liệu của DataCamp, như các hướng dẫn Phân tích khám phá dữ liệu với Python và Hồ sơ dữ liệu với Python , sẽ hướng dẫn bạn qua những điều cơ bản của EDA.
Kết thúc Phân tích Khám phá Dữ liệu
Đây có thể là khá nhiều thông tin, nên không bao giờ là muộn cho một bản tóm tắt nhỏ về những gì bạn đã thấy trong EDA có thể quan trọng cho phần sau của hướng dẫn:
Một số biến trong các tập dữ liệu của bạn có giá trị cách biệt khá xa. Bạn có thể và sẽ xử lý điều này ở phần tiếp theo.
Bạn đang ở kịch bản lý tưởng: không có giá trị null trong các tập dữ liệu.
Phần lớn rượu trong tập dữ liệu có khoảng 9% cồn.
Rượu đỏ dường như chứa nhiều sulfate hơn rượu trắng, vốn có ít sulfate vượt 1 g/\(dm^3\) hơn.
Bạn thấy hầu hết rượu có axit bay hơi ở mức 0.5 trở xuống. Hiện tại, chưa có mối quan hệ trực tiếp với chất lượng rượu.
Cho đến giờ, bạn đã xem dữ liệu rượu trắng và đỏ tách biệt. Hai loại có vẻ khác nhau ở một số biến khi nhìn kỹ, và ở các trường hợp khác, chúng lại rất giống. Bạn có nghĩ có cách nào phân loại các mục theo biến để xác định là rượu trắng hay đỏ không?
Chỉ có một cách để biết: tiền xử lý dữ liệu và mô hình hóa theo cách mà bạn có thể xem điều gì xảy ra!
Tiền xử lý Dữ liệu
Giờ bạn đã khám phá dữ liệu, đã đến lúc hành động theo những insight bạn có! Hãy tiền xử lý dữ liệu để bạn có thể bắt đầu xây dựng mạng nơ-ron của riêng mình!
# Add `type` column to `red` with value 1
___['type'] = 1
# Add `type` column to `white` with value 0
_____['type'] = 0
# Append `white` to `red`
wines = red.______(white, ignore_index=True)
Bạn đặt ignore_index là True trong trường hợp này vì bạn không muốn giữ nhãn chỉ mục của white khi nối dữ liệu vào red: bạn muốn nhãn tiếp tục từ nơi chúng dừng trong red, không bị trùng chỉ mục do ghép hai tập dữ liệu lại.
Hợp tấu nhỏ: Ma trận Tương quan
Giờ bạn đã có tập dữ liệu đầy đủ, cũng là ý tưởng hay để khám phá dữ liệu nhanh; Bạn đã biết đôi điều khi xem hai tập dữ liệu riêng biệt, và giờ là lúc thu thập thêm insight chắc chắn hơn, có thể vậy.
Vì có thể hơi khó để diễn giải biểu đồ, cũng là ý hay để vẽ ma trận tương quan. Điều này sẽ nhanh chóng cho biết biến nào tương quan với nhau:
import seaborn as sns
corr = wines.corr()
sns.heatmap(corr,
xticklabels=corr.columns.values,
yticklabels=corr.columns.values)
sns.plt.show()
Như bạn kỳ vọng, có một số biến tương quan với nhau, như density và residual sugar. Ngoài ra volatile acidity và type có liên hệ gần hơn so với bạn đoán khi xem hai tập dữ liệu riêng lẻ, và cũng khá dễ đoán rằng free sulfur dioxide và total sulfur dioxide sẽ tương quan.
Rất thú vị!
Tập Huấn luyện và Kiểm tra
Dữ liệu mất cân bằng thường đề cập đến vấn đề trong các bài toán phân loại khi các lớp không được đại diện đồng đều. Hầu hết các tập phân loại không có số lượng mẫu chính xác bằng nhau cho mỗi lớp, nhưng chênh lệch nhỏ thường không quan trọng. Do đó bạn cần đảm bảo cả hai lớp rượu đều có mặt trong mô hình huấn luyện. Hơn nữa, số lượng mẫu cho cả hai loại rượu cần tương đối đồng đều để bạn không thiên vị một lớp khi dự đoán.
Trong trường hợp này, có vẻ có sự mất cân bằng, nhưng trước mắt bạn sẽ tạm chấp nhận. Sau đó, bạn có thể đánh giá mô hình và nếu hiệu suất kém, có thể dùng undersampling hoặc oversampling để bù đắp sự chênh lệch số quan sát.
Hiện tại, hãy import train_test_split từ sklearn.model_selection và gán dữ liệu và nhãn mục tiêu vào biến X và y. Bạn sẽ thấy cần làm phẳng mảng nhãn mục tiêu để sẵn sàng dùng X và y làm đầu vào cho hàm train_test_split(). Bắt tay vào làm trong khối DataCamp Light dưới đây!
# Import `train_test_split` from `sklearn.model_selection`
from sklearn.model_selection import train_test_split
# Specify the data
X=wines.ix[:,0:11]
# Specify the target labels and flatten the array
y=np.ravel(wines.type)
# Split the data up in train and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
Bạn đã tiến khá xa để xây dựng mạng nơ-ron đầu tiên, nhưng vẫn còn một việc cần xử lý! Bạn còn nhớ đã phát hiện điều gì khi xem tóm tắt dữ liệu white và red chứ?
Đúng vậy, một số giá trị cách nhau khá xa. Sẽ hợp lý nếu chuẩn hóa ở đây.
Chuẩn hóa Dữ liệu
Chuẩn hóa là cách xử lý các giá trị nằm quá xa nhau. Gói scikit-learn cung cấp cách tuyệt vời và nhanh chóng để chuẩn hóa dữ liệu: import mô-đun StandardScaler từ sklearn.preprocessing và bạn sẵn sàng để scale dữ liệu huấn luyện và kiểm tra!
from sklearn. preprocessing import StandardScaler
scaler = StandardScaler( ) . fit( X_train)
X_train = scaler. transform( X_train)
X_test = scaler. transform( X_test) Được hỗ trợ bởi
Giờ dữ liệu đã được tiền xử lý, bạn có thể chuyển sang phần “chính”: xây dựng mạng nơ-ron của riêng bạn để phân loại rượu.
Mô hình hóa Dữ liệu
Trước khi bắt đầu mô hình hóa, quay lại câu hỏi ban đầu: bạn có thể dự đoán một loại rượu là đỏ hay trắng bằng cách nhìn vào các thuộc tính hóa học của nó, như axit bay hơi hay sulfate không?
Vì bạn chỉ có hai lớp, là trắng và đỏ, bạn sẽ làm phân loại nhị phân. Như bạn có thể hình dung, “nhị phân” nghĩa là 0 hoặc 1, không hay có. Vì mạng nơ-ron chỉ làm việc với dữ liệu số, bạn đã mã hóa đỏ là 1 và trắng là 0.
Một loại mạng phù hợp với vấn đề này là perceptron nhiều lớp. Như bạn đã đọc ở đầu hướng dẫn, loại mạng này thường kết nối đầy đủ. Điều đó nghĩa là bạn sẽ xây một chồng lớp fully-connected khá đơn giản để giải bài toán này. Về hàm kích hoạt, tốt nhất dùng một trong những hàm phổ biến nhất ở đây để làm quen với Keras và mạng nơ-ron, đó là hàm relu.
Vậy bắt đầu xây perceptron nhiều lớp như thế nào? Cách nhanh là dùng mô hình Sequential của Keras: đó là một chồng lớp tuyến tính. Bạn dễ dàng tạo mô hình bằng cách truyền danh sách các lớp vào constructor, bạn thiết lập bằng cách chạy model = Sequential().
Tiếp theo, hãy nghĩ lại cấu trúc perceptron nhiều lớp như đã đề cập ở đầu hướng dẫn: bạn có lớp đầu vào, một số lớp ẩn và lớp đầu ra. Khi tạo mô hình, điều quan trọng là lớp đầu tiên cần làm rõ hình dạng đầu vào. Mô hình cần biết hình dạng đầu vào mong đợi và vì thế bạn sẽ luôn thấy các tham số input_shape, input_dim, input_length hoặc batch_size trong tài liệu và ví dụ thực tế của các lớp.
Trong trường hợp này, bạn sẽ dùng lớp Dense, tức lớp kết nối đầy đủ. Lớp Dense thực hiện phép toán: output = activation(dot(input, kernel) + bias). Lưu ý nếu không có hàm kích hoạt, lớp Dense chỉ gồm hai phép tuyến tính: tích vô hướng và phép cộng.
Ở lớp đầu tiên, tham số activation nhận giá trị relu. Tiếp theo, bạn cũng thấy input_shape đã được định nghĩa. Đây là input của phép toán bạn vừa thấy: mô hình nhận đầu vào là các mảng có dạng (12,), hay (*, 12). Cuối cùng, bạn thấy lớp đầu tiên có 12 là giá trị đầu tiên cho tham số units của Dense(), tức số chiều không gian đầu ra và thực chất là 12 đơn vị ẩn. Điều này nghĩa là mô hình sẽ xuất ra mảng có dạng (*, 12): đây là số chiều không gian đầu ra. Đừng lo nếu giờ bạn chưa hiểu hoàn toàn, bạn sẽ đọc thêm sau!
Tham số units thực chất đại diện cho kernel trong công thức trên hay ma trận trọng số, gồm tất cả trọng số gán cho mọi nút đầu vào, do lớp tạo ra. Lưu ý bạn không đưa bất kỳ bias nào trong ví dụ dưới, vì bạn chưa thêm tham số use_bias và đặt nó là TRUE, điều này cũng là khả dĩ.
Lớp trung gian cũng dùng hàm kích hoạt relu. Đầu ra của lớp này sẽ là các mảng có dạng (*,8).
Bạn kết thúc mạng với một lớp Dense kích thước 1. Lớp cuối cũng dùng hàm sigmoid để đầu ra thực chất là xác suất; Điều này nghĩa là kết quả sẽ là điểm trong khoảng 0 đến 1, biểu thị khả năng mẫu mang nhãn “1”, hay khả năng rượu là đỏ.
# Import `Sequential` from `keras.models`
from keras.models import Sequential
# Import `Dense` from `keras.layers`
from keras.layers import Dense
# Initialize the constructor
model = Sequential()
# Add an input layer
model.add(Dense(12, activation='relu', input_shape=(11,)))
# Add one hidden layer
model.add(Dense(8, activation='relu'))
# Add an output layer
model.add(Dense(1, activation='sigmoid'))
Tổng kết, bạn thấy có hai quyết định kiến trúc cốt lõi cần đưa ra khi xây mô hình: bạn sẽ dùng bao nhiêu lớp và sẽ chọn bao nhiêu “đơn vị ẩn” cho mỗi lớp.
Trong trường hợp này, bạn chọn 12 đơn vị ẩn cho lớp đầu tiên: như đã nói, đây là kích thước không gian đầu ra. Nói cách khác, bạn đang đặt mức độ “tự do” mà bạn cho phép mạng có khi học biểu diễn. Nếu bạn cho nhiều đơn vị ẩn hơn, mạng có thể học các biểu diễn phức tạp hơn nhưng cũng sẽ tốn kém hơn và dễ overfit.
Hãy nhớ overfitting xảy ra khi mô hình quá phức tạp: nó mô tả nhiễu ngẫu nhiên thay vì mối quan hệ cơ bản cần mô tả. Nói cách khác, dữ liệu huấn luyện được mô hình hóa “quá tốt”!
Lưu ý khi bạn không có nhiều dữ liệu huấn luyện, nên ưu tiên dùng một mạng nhỏ với rất ít lớp ẩn (thường chỉ một, như ví dụ trên).
Nếu bạn muốn xem thông tin về mô hình vừa tạo, bạn có thể dùng thuộc tính output_shape hoặc hàm summary(), cùng nhiều thứ khác. Một số cái cơ bản liệt kê bên dưới.
Hãy chạy chúng để xem bạn nhận lại kết quả gì và chúng cho bạn biết điều gì về mô hình vừa tạo:
# Model output shape
model.___________
# Model summary
model.__________
# Model config
model.get_config()
# List all weight tensors
model.get_weights()
Biên dịch và Khớp
Tiếp theo, đã đến lúc biên dịch mô hình và khớp mô hình với dữ liệu: một lần nữa, dùng compile() và fit() để thực hiện.
model. compile ( loss= 'binary_crossentropy' ,
optimizer= 'adam' ,
metrics= [ 'accuracy' ] )
model. fit( X_train, y_train, epochs= 20 , batch_size= 1 , verbose= 1 ) Được hỗ trợ bởi
Khi compile, bạn cấu hình mô hình với bộ tối ưu adam và hàm mất mát binary_crossentropy. Ngoài ra, bạn cũng có thể theo dõi độ chính xác trong quá trình huấn luyện bằng cách truyền ['accuracy'] cho tham số metrics.
optimizer và loss là hai tham số bắt buộc nếu bạn muốn compile mô hình. Một số thuật toán tối ưu phổ biến gồm Stochastic Gradient Descent (SGD), ADAM và RMSprop. Tùy thuật toán, bạn sẽ cần tinh chỉnh một số tham số, như tốc độ học hay momentum. Việc chọn hàm mất mát phụ thuộc vào tác vụ: ví dụ, với bài toán hồi quy, bạn thường dùng Mean Squared Error (MSE). Như bạn thấy trong ví dụ này, bạn dùng binary_crossentropy cho bài toán phân loại nhị phân xác định rượu là đỏ hay trắng. Cuối cùng, với phân loại đa lớp, bạn sẽ dùng categorical_crossentropy.
Sau đó, bạn có thể huấn luyện mô hình trong 20 epoch hay số vòng lặp qua toàn bộ mẫu trong X_train và y_train, với batch kích thước 1 mẫu. Bạn cũng có thể chỉ định tham số verbose. Đặt là 1 nghĩa là bạn muốn thấy nhật ký dạng thanh tiến trình.
Nói cách khác, bạn phải huấn luyện mô hình trong số epoch được chỉ định, tức số lần “tiếp xúc” với tập huấn luyện. Một epoch là một lượt đi qua toàn bộ tập huấn luyện, theo sau là kiểm tra trên tập xác minh. Kích thước batch bạn chỉ định trong mã trên định nghĩa số mẫu sẽ được lan truyền qua mạng mỗi lần. Làm vậy giúp tối ưu hiệu quả vì bạn đảm bảo không nạp quá nhiều mẫu đầu vào vào bộ nhớ cùng lúc.
Dự đoán Giá trị
Hãy dùng mô hình của bạn! Bạn có thể dự đoán nhãn cho tập kiểm tra. Chỉ cần dùng predict() và truyền tập kiểm tra vào để dự đoán nhãn cho dữ liệu. Ở đây, kết quả được lưu trong y_pred:
y_pred = model. predict( X_test) Được hỗ trợ bởi
Trước khi đánh giá mô hình, bạn đã có thể ước lượng nhanh độ chính xác bằng cách kiểm tra y_pred và y_test so sánh thế nào:
y_pred[ : 5 ] Được hỗ trợ bởi
array( [ [ 0 ] ,
[ 1 ] ,
[ 0 ] ,
[ 0 ] ,
[ 0 ] ] , dtype= int32) Được hỗ trợ bởi
y_test[ : 5 ] Được hỗ trợ bởi
array( [ 0 , 1 , 0 , 0 , 0 ] ) Được hỗ trợ bởi
Bạn thấy các giá trị này có vẻ khớp, nhưng tất cả điều này là gì nếu không có con số cụ thể?
Đánh giá Mô hình
Giờ bạn đã xây mô hình và dùng nó để dự đoán trên dữ liệu mà mô hình chưa thấy, đã đến lúc đánh giá hiệu suất. Bạn có thể so sánh trực quan dự đoán với nhãn kiểm tra thực tế (y_test), hoặc bạn có thể dùng nhiều thước đo để xác định hiệu suất thực tế. Trong trường hợp này, bạn sẽ dùng evaluate(). Truyền dữ liệu kiểm tra và nhãn kiểm tra, và nếu muốn, đặt tham số verbose là 1. Bạn sẽ thấy nhiều log hơn khi làm vậy.
score = model. evaluate( X_test, y_test, verbose= 1 )
print ( score) Được hỗ trợ bởi
[ 0.025217213829228164 , 0.99487179487179489 ] Được hỗ trợ bởi
Biến score là một danh sách chứa kết hợp giữa mất mát và độ chính xác. Trong trường hợp này, cả hai đều có vẻ rất tốt, nhưng cũng nên nhớ dữ liệu của bạn hơi mất cân bằng: bạn có nhiều quan sát rượu trắng hơn rượu đỏ. Độ chính xác có thể chỉ phản ánh phân phối lớp trong dữ liệu vì mô hình sẽ chỉ dự đoán white do các quan sát này chiếm ưu thế!
Trước khi sắp xếp lại dữ liệu và ghép theo cách khác, luôn là ý hay để thử các thước đo đánh giá khác. Cho việc này, bạn có thể dựa vào scikit-learn (import là sklearn, như trước khi bạn tạo tập train/test).
Trong trường hợp này, bạn sẽ thử một số kỹ thuật đánh giá phân loại cơ bản, như:
Ma trận nhầm lẫn (confusion matrix), là bảng phân rã dự đoán thành các ô thể hiện dự đoán đúng và các kiểu dự đoán sai. Lý tưởng là bạn chỉ thấy số ở đường chéo, nghĩa là tất cả dự đoán đều đúng!
Precision là thước đo độ chính xác của bộ phân loại. Precision càng cao, bộ phân loại càng chính xác.
Recall là thước đo độ bao phủ của bộ phân loại. Recall càng cao, bộ phân loại càng bao phủ nhiều trường hợp.
Điểm F1 hay F-score là trung bình có trọng số của precision và recall.
Kappa hay kappa của Cohen là độ chính xác phân loại được chuẩn hóa theo sự mất cân bằng lớp trong dữ liệu.
from sklearn. metrics import confusion_matrix, precision_score, recall_score, f1_score, cohen_kappa_score
confusion_matrix( y_test, y_pred) Được hỗ trợ bởi
array( [ [ 1585 , 3 ] ,
[ 8 , 549 ] ] ) Được hỗ trợ bởi
precision_score( y_test, y_pred) Được hỗ trợ bởi
0.994565217391 Được hỗ trợ bởi
recall_score( y_test, y_pred) Được hỗ trợ bởi
0.98563734290843807 Được hỗ trợ bởi
f1_score( y_test, y_pred) Được hỗ trợ bởi
0.99008115419296661 Được hỗ trợ bởi
cohen_kappa_score( y_test, y_pred) Được hỗ trợ bởi
0.98662321692498967 Được hỗ trợ bởi
Tất cả các điểm số này đều rất tốt! Bạn đã tạo được một mô hình khá chính xác dù số hàng thuộc loại rượu trắng nhiều hơn đáng kể.
Làm tốt lắm!
Thử nghiệm thêm
Bạn đã xây dựng thành công mô hình đầu tiên, nhưng bạn có thể đi xa hơn nữa. Sao không thử những điều sau và xem hiệu ứng? Như đã đọc ở trên, hai quyết định kiến trúc quan trọng nhất liên quan đến các lớp và các nút ẩn. Đây là điểm khởi đầu tuyệt vời:
Bạn đã dùng 1 lớp ẩn. Hãy thử dùng 2 hoặc 3 lớp ẩn;
Dùng các lớp có nhiều đơn vị ẩn hơn hoặc ít hơn;
Lấy cột quality làm nhãn mục tiêu và phần còn lại (bao gồm cột type đã mã hóa!) làm dữ liệu. Giờ bạn có một bài toán phân loại đa lớp!
Tại sao không thử thay đổi cả hàm kích hoạt? Thay vì relu, hãy thử dùng tanh và xem kết quả!
Dự đoán Chất lượng Rượu Vang
Mô hình phân loại của bạn hoạt động hoàn hảo cho lần chạy đầu tiên!
Nhưng còn rất nhiều việc bạn có thể làm ngoài việc lên một nấc và thử các cấu trúc phức tạp hơn perceptron nhiều lớp. Tại sao không thử xây một mạng nơ-ron để dự đoán chất lượng rượu?
Trong trường hợp này, hướng dẫn giả định rằng quality là biến liên tục: khi đó tác vụ không phải phân loại nhị phân mà là hồi quy thứ bậc (ordinal regression). Đây là loại hồi quy dùng để dự đoán một biến thứ bậc: giá trị quality tồn tại trên một thang đo tùy ý, nơi trật tự tương đối giữa các giá trị quality là có ý nghĩa. Trong thang đo này, thang chất lượng 0-10 từ “rất tệ” đến “rất tốt” là một ví dụ.
Lưu ý bạn cũng có thể coi kiểu vấn đề này là phân loại và xem các nhãn chất lượng như nhãn lớp cố định.
Dù thế nào, thiết lập tình huống này nghĩa là nhãn mục tiêu của bạn sẽ là cột quality trong các DataFrame red và white cho phần hai của hướng dẫn. Điều này sẽ cần thêm một số tiền xử lý.
Tiền xử lý Dữ liệu
Vì biến quality trở thành lớp mục tiêu, giờ bạn cần tách nhãn chất lượng khỏi phần còn lại của tập dữ liệu. Bạn sẽ đưa wines.quality vào biến y và đưa dữ liệu rượu, ngoại trừ cột quality, vào biến x.
Tiếp theo, bạn đã sẵn sàng chia dữ liệu thành tập train và test, nhưng bạn sẽ không theo cách này trong trường hợp này (dù bạn có thể!). Ở phần hai của hướng dẫn, bạn sẽ dùng xác thực k-fold, yêu cầu chia dữ liệu thành K phần. Thông thường, K đặt là 4 hoặc 5. Tiếp theo, bạn khởi tạo các mô hình giống hệt nhau và huấn luyện mỗi mô hình trên một phần, đồng thời đánh giá trên các phần còn lại. Điểm xác thực cho mô hình sau đó là trung bình của K điểm xác thực thu được.
Bạn sẽ xem cách làm sau. Hiện tại, dùng StandardScaler để đảm bảo dữ liệu ở trạng thái tốt trước khi khớp mô hình, giống như trước.
# Isolate target labels
y = wines._________
# Isolate data
X = wines.drop('quality', axis=_)
Hãy nhớ bạn cũng cần thực hiện scale lại vì có nhiều khác biệt trong một số giá trị của dữ liệu red, white (và kéo theo là wines).
Thử trong khối DataCamp Light dưới đây. Tất cả thư viện cần thiết đã được nạp sẵn cho bạn!
# Scale the data with `StandardScaler`
X = ________________.fit_transform(X)
Giờ bạn lại ở điểm như trước đó một chút. Bạn có thể bắt đầu mô hình hóa mạng nơ-ron lần nữa!
Mô hình Hóa Kiến trúc Mạng Nơ-ron
Giờ bạn đã tiền xử lý dữ liệu, một lần nữa đến lúc xây dựng một mô hình mạng nơ-ron, perceptron nhiều lớp. Dù bạn sẽ dùng cho bài toán hồi quy, kiến trúc có thể rất giống nhau, với hai lớp Dense.
Đừng quên lớp đầu tiên là lớp đầu vào. Bạn sẽ cần truyền hình dạng dữ liệu đầu vào cho nó. Trong trường hợp này, bạn sẽ dùng input_dim để truyền số chiều của dữ liệu vào lớp Dense.
# Import `Sequential` from `keras.models`
from keras.models import Sequential
# Import `Dense` from `keras.layers`
from keras.layers import Dense
# Initialize the model
model = Sequential()
# Add input layer
model.add(Dense(64, input_dim=12, activation='relu'))
# Add output layer
model.add(Dense(1))
Lưu ý một lần nữa lớp đầu tiên bạn định nghĩa là lớp đầu vào. Lớp này cần biết số chiều đầu vào dữ liệu. Bạn truyền số chiều đầu vào là 12 trong trường hợp này (đừng quên bạn cũng tính cả cột Type mà bạn đã tạo ở phần đầu!). Bạn tiếp tục dùng hàm kích hoạt relu, nhưng một lần nữa không có bias. Số đơn vị ẩn là 64.
Mạng của bạn kết thúc với một đơn vị Dense(1), và không bao gồm hàm kích hoạt. Đây là thiết lập điển hình cho hồi quy vô hướng, nơi bạn đang cố dự đoán một giá trị liên tục duy nhất).
Compile Mô hình, Fit Dữ liệu
Với mô hình trong tay, bạn có thể tiếp tục compile và fit dữ liệu. Nhưng khoan. Bạn không cần các phần xác thực K fold mà bạn đã đọc trước đó sao? Đúng vậy.
import numpy as np
from sklearn. model_selection import StratifiedKFold
seed = 7
np. random. seed( seed)
kfold = StratifiedKFold( n_splits= 5 , shuffle= True , random_state= seed)
for train, test in kfold. split( X, Y) :
model = Sequential( )
model. add( Dense( 64 , input_dim= 12 , activation= 'relu' ) )
model. add( Dense( 1 ) )
model. compile ( optimizer= 'rmsprop' , loss= 'mse' , metrics= [ 'mae' ] )
model. fit( X[ train] , Y[ train] , epochs= 10 , verbose= 1 ) Được hỗ trợ bởi
Dùng hàm compile() để compile mô hình rồi dùng fit() để fit mô hình với dữ liệu. Khi compile mô hình, bạn một lần nữa đảm bảo định nghĩa ít nhất các tham số optimizer và loss. Trong trường hợp này, bạn có thể dùng rsmprop, một trong những thuật toán tối ưu phổ biến, và mse làm hàm mất mát, rất điển hình cho bài toán hồi quy như của bạn.
Tham số bổ sung metrics mà bạn định nghĩa thực chất là hàm dùng để đánh giá hiệu suất mô hình. Với bài toán hồi quy, thường dùng Mean Absolute Error (MAE) làm metric. Bạn sẽ đọc thêm ở phần tiếp theo.
Truyền dữ liệu và nhãn huấn luyện vào fit(), xác định số epoch bạn muốn chạy, kích thước batch và nếu muốn, bạn có thể đặt tham số verbose là 1 để có thêm log vì việc này có thể tốn thời gian.
Đánh giá Mô hình
Giống như trước, bạn cũng nên đánh giá mô hình. Ngoài việc thêm y_pred = model.predict(X[test]) vào phần code trên, cũng là ý hay khi dùng một số thước đo từ sklearn, như bạn đã làm ở phần đầu của hướng dẫn.
Để làm điều này, bạn có thể dùng Mean Squared Error (MSE) và Mean Absolute Error (MAE). Thước đo đầu, còn gọi là “độ lệch bình phương trung bình” (MSD), đo trung bình bình phương sai số hay độ lệch. Nói cách khác, nó định lượng sự khác biệt giữa bộ ước lượng và điều được ước lượng. Bằng cách này, bạn biết thêm về chất lượng bộ ước lượng: nó luôn không âm, và giá trị càng gần 0 càng tốt.
Thước đo thứ hai, MAE, là Sai số Tuyệt đối Trung bình: nó định lượng mức độ gần nhau giữa dự đoán và kết quả thực tế.
Thêm các dòng này vào đoạn mã trước, và chú ý thụt đầu dòng:
mse_value, mae_value = model. evaluate( X[ test] , Y[ test] , verbose= 0 )
print ( mse_value)
0.522478731072
print ( mae_value)
0.561965950103 Được hỗ trợ bởi
Lưu ý ngoài điểm MSE và MAE, bạn cũng có thể dùng điểm R2 hay hàm điểm hồi quy. Ở đây, bạn nên hướng tới điểm 1.0, là tốt nhất. Tuy nhiên, điểm cũng có thể âm!
from sklearn. metrics import r2_score
r2_score( Y[ test] , y_pred)
0.3125092543 Được hỗ trợ bởi
Thoạt nhìn, các con số này khá tệ, đúng không? Điều tốt là giờ bạn có thể thử nghiệm để tối ưu mã nhằm cải thiện kết quả đôi chút.
Đó chính là nội dung phần tiếp theo và cuối cùng!
Tinh chỉnh Mô hình
Tinh chỉnh mô hình có lẽ là việc bạn sẽ làm nhiều, vì không phải bài toán nào cũng đơn giản như phần đầu hướng dẫn. Như đã đọc ở trên, đã có hai quyết định quan trọng bạn có thể muốn điều chỉnh: bạn sẽ dùng bao nhiêu lớp và sẽ chọn bao nhiêu “đơn vị ẩn” cho mỗi lớp.
Ban đầu, điều này thực sự sẽ là một hành trình.
Thêm Lớp
Điều gì sẽ xảy ra nếu bạn thêm một lớp nữa vào mô hình? Nếu nó trông như sau thì sao?
model = Sequential( )
model. add( Dense( 64 , input_dim= 12 , activation= 'relu' ) )
model. add( Dense( 64 , activation= 'relu' ) )
model. add( Dense( 1 ) ) Được hỗ trợ bởi
Đơn vị Ẩn
Cũng hãy thử hiệu ứng của việc thêm nhiều đơn vị ẩn hơn vào kiến trúc mô hình và nghiên cứu tác động lên đánh giá, như sau:
model = Sequential( )
model. add( Dense( 128 , input_dim= 12 , activation= 'relu' ) )
model. add( Dense( 1 ) ) Được hỗ trợ bởi
Lưu ý một lần nữa nói chung, vì bạn không có quá nhiều dữ liệu, overfitting có thể (và sẽ) tệ hơn. Đó là lý do bạn nên dùng một mạng nhỏ.
Thử nghiệm thêm: Tham số Tối ưu hóa
Ngoài việc thêm lớp và chơi với các đơn vị ẩn, bạn cũng có thể thử điều chỉnh (một số) tham số của thuật toán tối ưu bạn truyền cho hàm compile(). Đến giờ, bạn luôn truyền một chuỗi, như rmsprop, cho tham số optimizer.
Nhưng không nhất thiết luôn phải như vậy!
Hãy thử, ví dụ, import RMSprop từ keras.models và điều chỉnh tốc độ học lr. Bạn cũng có thể đổi các giá trị mặc định đặt cho các tham số khác của RMSprop(), nhưng không khuyến nghị. Bạn có thể xem thêm thông tin tại đây .
from keras. optimizers import RMSprop
rmsprop = RMSprop( lr= 0.0001 )
model. compile ( optimizer= rmsprop, loss= 'mse' , metrics= [ 'mae' ] ) Được hỗ trợ bởi
Cũng hãy thử nghiệm với các thuật toán tối ưu khác, như Stochastic Gradient Descent (SGD). Bạn có nhận thấy tác động không?
from keras. optimizers import SGD, RMSprop
sgd= SGD( lr= 0.1 )
model. compile ( optimizer= sgd, loss= 'mse' , metrics= [ 'mae' ] ) Được hỗ trợ bởi
Tiến xa hơn!
Hướng dẫn này chỉ là điểm khởi đầu cho hành trình học sâu của bạn với Python và Keras. Vẫn còn rất nhiều nội dung để khám phá, vậy tại sao không học khóa Deep Learning in Python của DataCamp? Trong lúc đó, hãy chắc chắn xem tài liệu Keras , nếu bạn chưa làm. Bạn sẽ tìm thấy nhiều ví dụ và thông tin về mọi hàm, tham số, nhiều lớp, v.v. Đây chắc chắn sẽ là nguồn lực không thể thiếu khi bạn học cách làm việc với mạng nơ-ron trong Python! Nếu bạn muốn đọc một cuốn sách giải thích nền tảng học sâu (với Keras) cùng cách ứng dụng trong thực tiễn, bạn nên đọc cuốn Deep Learning in Python của François Chollet.
Đến giờ, có lẽ bạn đã biết về học máy, một nhánh của khoa học máy tính nghiên cứu thiết kế các thuật toán có khả năng học. Hôm nay, bạn sẽ tập trung vào học sâu, một phân ngành của học máy gồm tập hợp các thuật toán lấy cảm hứng từ cấu trúc và chức năng của não bộ. Những thuật toán này thường được gọi là Mạng Nơ-ron Nhân tạo (ANN). Học sâu là một trong những lĩnh vực nóng nhất của khoa học dữ liệu với nhiều nghiên cứu điển hình đạt kết quả ấn tượng trong robot, nhận dạng hình ảnh và Trí tuệ Nhân tạo (AI).
Một trong những thư viện Python mạnh mẽ và dễ dùng nhất để phát triển và đánh giá mô hình học sâu là Keras; Nó bao bọc các thư viện tính toán số hiệu quả là Theano và TensorFlow. Ưu điểm chính là bạn có thể bắt đầu với mạng nơ-ron theo cách dễ dàng và thú vị.
Hướng dẫn Keras cho người mới bắt đầu hôm nay sẽ giới thiệu bạn các kiến thức cơ bản về học sâu với Python: