Hồi quy tuyến tính (Linear Regression)

Hồi quy tuyến tính

Ý tưởng

Tìm một đường thẳng (hoặc mặt phẳng khi nhiều đặc trưng) khớp nhất với đám điểm dữ liệu:

ŷ = w₁x₁ + w₂x₂ + … + wₙxₙ + b

Trong đó w là trọng số của từng đặc trưng và b là hệ số chặn. Mô hình học bằng cách tìm bộ w, b làm sai số nhỏ nhất — thường đo bằng MSE.

Đọc được hệ số

Đây là điểm mạnh lớn nhất của hồi quy tuyến tính. Nếu mô hình dự đoán giá nhà cho ra hệ số của diện tích là 0.05 (tỷ đồng trên m²), ta hiểu ngay: giữ nguyên các yếu tố khác, mỗi m² tăng thêm làm giá tăng 0.05 tỷ. Rất ít mô hình cho ta câu giải thích rõ ràng như vậy.

from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(x_train, y_train)
print(model.coef_)        # trọng số từng đặc trưng
print(model.intercept_)   # hệ số chặn

Giả định cần biết

1. Quan hệ giữa đặc trưng và đầu ra là tuyến tính
2. Các quan sát độc lập nhau
3. Sai số có phương sai đều

Nếu quan hệ thực tế là đường cong, mô hình sẽ underfit dù bạn có bao nhiêu dữ liệu đi nữa.

So sánh hệ số phải chuẩn hoá trước

Hệ số phụ thuộc đơn vị đo. Cột tính bằng mét sẽ có hệ số khác hẳn khi đổi sang centimet, dù ý nghĩa không đổi. Muốn so sánh mức độ quan trọng giữa các đặc trưng, phải chuẩn hoá chúng về cùng thang trước.

Lỗi thường gặp nhất

Hiểu hệ số lớn là đặc trưng quan trọng, khi chưa chuẩn hoá. Một cột đo bằng đồng và một cột đo bằng tỷ đồng sẽ cho hệ số lệch nhau chín chữ số, mà chẳng nói lên điều gì về tầm quan trọng.