Làm phân tích dữ liệu cần chắc nhất là xác suất và thống kê, sau đó là đại số tuyến tính để làm việc với những bảng số khổng lồ, và một ít giải tích để hiểu cách các mô hình tìm ra lời giải tốt nhất. Bạn không cần giỏi mọi ngành toán, nhưng phải hiểu sâu vài phần cốt lõi đủ để biết khi nào một con số đáng tin.
Chào bạn, đây là Nhà Toán Học. Nghề làm việc với dữ liệu đang được nhiều bạn trẻ nhắm tới, và câu hỏi hay gặp nhất là: em có cần giỏi toán không, cần học tới đâu. Tập này mình trả lời theo từng phần toán, nói rõ phần nào cần sâu, phần nào biết đủ dùng.
Xác suất và thống kê: cốt lõi không thể thiếu
Hầu hết công việc với dữ liệu là trả lời câu hỏi từ một mẫu không hoàn hảo. Bao nhiêu khách quay lại, nhóm nào mua nhiều hơn, thay đổi vừa rồi có tác dụng thật không. Tất cả đều là câu hỏi thống kê.
Những gì đã kể trong chuỗi bài này là nền móng: trung bình, độ lệch chuẩn, phân vị, phân phối, luật số lớn, ý nghĩa thống kê, xác suất có điều kiện. Người làm dữ liệu dùng chúng mỗi ngày.
Chỗ phân biệt người giỏi và người tạm được thường không phải ở chỗ biết công thức, mà ở chỗ biết những bẫy: mẫu lệch, so sánh không công bằng, thử nhiều lần rồi chỉ báo cái trúng, nhầm tương quan với nhân quả.
Nếu chỉ có thời gian học sâu một phần toán, hãy chọn phần này.
Đại số tuyến tính: ngôn ngữ của bảng số
Dữ liệu thường ở dạng bảng: mỗi dòng một khách hàng, mỗi cột một thông tin. Trong toán, bảng số như vậy là ma trận, và đại số tuyến tính là môn học cách tính toán với ma trận.
Rất nhiều phương pháp phân tích, từ hồi quy đơn giản tới những kỹ thuật thu gọn dữ liệu nhiều chiều thành vài chiều chính, thực chất là các phép toán trên ma trận.
Bạn không cần tự tay nhân ma trận lớn, máy làm việc đó. Nhưng bạn cần hiểu ý nghĩa: một vectơ là gì, chiếu một điểm lên một đường thẳng nghĩa là gì, vì sao hai cột quá giống nhau làm mô hình trở nên bất ổn.
Học sinh phổ thông đã gặp vectơ trong hình học lớp mười. Đó là cửa vào tự nhiên của môn này.
Giải tích: hiểu cách mô hình tìm lời giải tốt nhất
Nhiều mô hình học từ dữ liệu bằng cách tìm bộ thông số làm cho sai số nhỏ nhất. Việc tìm điểm nhỏ nhất đó dùng đạo hàm, thứ học sinh học ở lớp mười một, mười hai.
Ý tưởng trực quan rất đơn giản: đứng trên sườn đồi trong sương mù, muốn xuống thung lũng thì cứ bước theo hướng dốc xuống nhất. Đạo hàm cho biết hướng dốc đó. Lặp lại nhiều bước nhỏ là tới gần đáy.
Người làm phân tích dữ liệu thông thường không cần giải tích sâu. Nhưng hiểu ý tưởng tối ưu hoá giúp bạn hiểu vì sao mô hình đôi khi cho kết quả lạ, và cách điều chỉnh nó.
Ai muốn đi sâu vào xây dựng mô hình mới thì cần giải tích nhiều biến và tối ưu hoá kỹ hơn, thường học ở đại học hoặc sau đại học.
Những thứ ngoài toán quyết định thành công
Lập trình là công cụ hằng ngày: xử lý bảng dữ liệu, vẽ biểu đồ, chạy mô hình. Không cần là lập trình viên chuyên nghiệp, nhưng phải tự làm được việc của mình.
Hiểu lĩnh vực mình làm quan trọng ngang toán. Phân tích dữ liệu bán lẻ mà không hiểu cửa hàng vận hành ra sao thì dễ đưa ra kết luận đúng về số mà sai về đời.
Kỹ năng giao tiếp có khi là yếu tố quyết định. Một phân tích xuất sắc mà không giải thích được cho người ra quyết định thì không tạo ra thay đổi nào. Biết vẽ một biểu đồ rõ ràng và viết một đoạn tóm tắt dễ hiểu là kỹ năng đáng giá.
Và cuối cùng là sự trung thực với dữ liệu: dám nói dữ liệu không đủ để kết luận, thay vì ép nó nói điều người khác muốn nghe.
Học bắt đầu từ đâu?
Với học sinh phổ thông: học thật chắc phần thống kê và xác suất trong chương trình, đừng coi nhẹ vì nghĩ nó dễ. Phần này ngày càng được chú trọng trong chương trình hiện hành.
Với sinh viên hoặc người đi làm muốn chuyển nghề: bắt đầu bằng một khoá thống kê cơ bản có bài tập thực hành trên dữ liệu thật, song song học một ngôn ngữ lập trình phổ biến trong phân tích dữ liệu.
Làm dự án nhỏ của riêng mình, với dữ liệu mình quan tâm: chi tiêu gia đình, kết quả các trận bóng, thời tiết quê nhà. Một dự án nhỏ làm trọn vẹn dạy nhiều hơn mười khoá học xem dở.
Câu đố nhỏ: bạn có bảng chiều cao và cân nặng của một lớp học. Bạn sẽ dùng những con số nào trong chuỗi bài này để mô tả bảng dữ liệu đó cho một người chưa từng xem nó.
Câu hỏi thường gặp
Không giỏi toán có làm phân tích dữ liệu được không?
Có thể bắt đầu nếu nắm vững thống kê và xác suất cơ bản. Không cần giỏi mọi phần toán, nhưng cần hiểu sâu các khái niệm thống kê để không kết luận sai từ dữ liệu.
Đại số tuyến tính dùng để làm gì trong phân tích dữ liệu?
Dữ liệu dạng bảng chính là ma trận, và nhiều phương pháp phân tích là các phép toán trên ma trận. Hiểu đại số tuyến tính giúp hiểu cách các phương pháp đó vận hành và vì sao đôi khi chúng cho kết quả bất ổn.
Cần học giải tích tới đâu?
Với phân tích dữ liệu thông thường, hiểu ý nghĩa đạo hàm và ý tưởng tìm điểm nhỏ nhất là đủ. Người muốn xây dựng mô hình mới cần giải tích nhiều biến và tối ưu hoá sâu hơn.
Phân tích dữ liệu và khoa học dữ liệu khác nhau thế nào?
Ranh giới không cố định, nhưng phân tích dữ liệu thường tập trung vào mô tả và trả lời câu hỏi từ dữ liệu, còn khoa học dữ liệu thường thêm phần xây dựng mô hình dự báo và cần nhiều lập trình, toán hơn.
Nên bắt đầu học phân tích dữ liệu từ đâu?
Bắt đầu với thống kê cơ bản có thực hành, học một ngôn ngữ lập trình dùng cho dữ liệu, và làm một dự án nhỏ trọn vẹn với dữ liệu mình quan tâm.
