Xây nền tảng dữ liệu cho doanh nghiệp đang lớn: xây gì, theo thứ tự nào, bỏ gì

Nền tảng dữ liệu là bộ thành phần kéo dữ liệu từ mọi hệ thống doanh nghiệp đang chạy (bán hàng, kế toán, kho, hỗ trợ, marketing), lưu về một chỗ, làm sạch và ghép lại, rồi cung cấp cho báo cáo và sau đó cho AI. Với công ty 20 đến 200 người, nền tảng không cần lớn; nó cần được xây đúng thứ tự, bắt đầu từ hai ba báo cáo quan trọng nhất, và được vận hành để con số vẫn đáng tin sau tháng đầu.

Vấn đề thật mà nền tảng dữ liệu giải quyết

Triệu chứng mọi doanh nghiệp đang lớn đều nhận ra: báo cáo tháng mất một tuần. Một người xuất từ phần mềm bán hàng, người khác từ kế toán, người thứ ba đối chiếu kho, và các con số không bao giờ khớp hẳn. Lãnh đạo hỏi một câu đơn giản ("dòng sản phẩm nào mất biên lợi nhuận quý vừa rồi") và câu trả lời thật là "cho chúng tôi ba ngày".

Nguyên nhân không phải người kém; là mỗi hệ thống giữ một phiên bản sự thật riêng và không gì nối chúng lại. Bài từ bảng tính đến hệ thống thông minh mô tả bước đầu thoát khỏi tình trạng này. Nền tảng dữ liệu là thứ bước đó lớn lên thành.

5 khối cấu thành

1. Nguồn và bộ kết nối

Mọi hệ thống doanh nghiệp dùng đều là nguồn: phần mềm bán hàng hoặc CRM, kế toán, kho, sàn thương mại điện tử, phần mềm hỗ trợ, tài khoản quảng cáo, và cả những bảng tính vẫn đang giữ dữ liệu thật. Bộ kết nối kéo dữ liệu từ mỗi nguồn theo lịch (hằng đêm là đủ với đa số doanh nghiệp) mà không ai phải xuất file.

Nguyên tắc: nối hệ thống qua API hoặc xuất tự động theo lịch, không bao giờ để một người tải file. Có người trong vòng lặp là đường ống đứt ngay kỳ nghỉ đầu tiên.

2. Lưu trữ: kho dữ liệu

Một cơ sở dữ liệu nơi mọi dữ liệu đổ về, giữ nguyên dạng lúc nhận (thô) rồi thêm dạng đã làm sạch. Với quy mô này, cơ sở dữ liệu đám mây có quản lý tốn vài trăm nghìn đến vài triệu đồng mỗi tháng. Đừng làm quá; chọn loại cơ sở dữ liệu nào quan trọng ít hơn nhiều so với thứ đổ vào nó.

3. Biến đổi: lớp làm sạch và ghép

Đây là chỗ việc thật nằm. Tên khách khác nhau giữa các hệ thống được khớp lại. Mã sản phẩm được chuẩn hoá. Tiền tệ và ngày tháng được đồng nhất. Doanh thu, chi phí, hàng trả được ghép thành một bảng "doanh thu theo sản phẩm theo tháng" mà ai cũng đồng ý.

Mọi quy tắc nằm trong mã có quản lý phiên bản và có kiểm thử, không nằm trong đầu ai hay trong một cột ẩn của bảng tính. Khi một con số bị chất vấn, quy tắc tạo ra nó đọc được.

4. Báo cáo

Bảng điều khiển và báo cáo định kỳ dựng trên các bảng đã sạch. Ba báo cáo đầu nên là những gì lãnh đạo hỏi nhiều nhất, dựng đúng theo câu hỏi của họ. Cưỡng lại việc dựng năm mươi bảng điều khiển; ba bảng được tin thắng năm mươi bảng bị bỏ quên.

5. Vận hành

Theo dõi bộ kết nối đã chạy chưa, số dòng có bình thường không, dữ liệu hôm qua đã về chưa. Cảnh báo khi không. Một người chịu trách nhiệm có tên. Thiếu khối này, nền tảng mục dần trong im lặng: bộ kết nối hỏng tháng Ba, không ai thấy cho tới khi báo cáo tháng Sáu sai, và niềm tin mất.

Thứ tự xây

Với công ty 20 đến 200 người, trình tự hiệu quả:

1. Chọn 3 báo cáo lãnh đạo thật sự cần. Viết ra câu hỏi chính xác mỗi báo cáo trả lời và ai đọc.
2. Chỉ nối những nguồn 3 báo cáo đó cần. Thường là bán hàng và kế toán trước. Sàn và marketing sau.
3. Dựng bảng sạch cho các báo cáo đó, đối chiếu với số làm tay cũ trong hai tháng chạy song song.
4. Đưa 3 báo cáo vào dùng, thay quy trình tay, rồi mới thêm nguồn tiếp theo.
5. Dựng vận hành từ ngày đầu, không phải sau lần hỏng đầu.

Ba báo cáo đầu thường mất 6 đến 10 tuần. Mỗi nguồn thêm sau đó mất 1 đến 3 tuần.

Ngân sách thực tế

• Xây (3 báo cáo đầu, 2 đến 4 nguồn): từ khoảng 80 đến 250 triệu đồng tuỳ nguồn lộn xộn tới đâu. Độ lộn xộn, không phải khối lượng, quyết định chi phí.
• Phí đám mây: 1 đến 5 triệu đồng mỗi tháng ở quy mô này.
• Vận hành: theo dõi, sửa bộ kết nối khi nhà cung cấp đổi API, thêm trường, trả lời "sao số này nhìn lạ": 5 đến 15 triệu đồng mỗi tháng nếu thuê ngoài, hoặc một phần thời gian của một người nội bộ. Moniro gói phần này trong bảo trì phần mềm cho các nền tảng mình xây.

So với chi phí ẩn của quy trình hiện tại: bài chi phí ẩn của vận hành thủ công đặt con số cho báo cáo mất một tuần.

6 sai lầm tốn tiền nhất

1. Bắt đầu bằng chọn công nghệ. Nhiều tuần so sánh cơ sở dữ liệu trong khi chưa ai viết ra ba câu hỏi nền tảng phải trả lời.
2. Nối tất cả cùng lúc. Mười hai nguồn, không báo cáo nào, sáu tháng trôi qua. Nối thứ ba báo cáo đầu cần và không gì khác.
3. Quy tắc làm sạch trong bảng tính. Một cột ẩn sửa mã sản phẩm không phải quy tắc; là một quả mìn.
4. Không chạy song song. Tắt báo cáo tay ngay ngày bảng điều khiển ra mắt. Chạy cả hai trong hai tháng; các chỗ lệch là nơi quy tắc làm sạch thật ẩn náu.
5. Không có người chịu trách nhiệm. Nền tảng không có chủ bị bỏ hoang trong một năm.
6. Xây cho AI trước khi báo cáo đúng. Nếu con số doanh thu tháng chưa được tin, không mô hình nào xây trên nó được tin.

Nền tảng trở thành móng cho AI thế nào

Mọi ứng dụng AI doanh nghiệp cân nhắc (dự báo nhu cầu, chấm điểm khách tiềm năng, phát hiện bất thường, để agent trả lời câu hỏi về doanh nghiệp) đều cần dữ liệu sạch, đã ghép, mới. Đó chính là thứ khối 1 đến 3 tạo ra. Doanh nghiệp xây nền tảng trước thấy dự án AI mất vài tuần; doanh nghiệp bỏ qua thấy mọi dự án AI bắt đầu bằng ba tháng làm sạch dữ liệu.

Hai ví dụ: dùng LLM phân tích phản hồi khách hàng cần ticket, đánh giá, khảo sát ở một chỗ; computer vision đếm trên dây chuyền cần chỗ cho số đếm đổ về và đối chiếu. Cả hai đều là người dùng của nền tảng.

Khái niệm về chất lượng dữ liệu huấn luyện và trôi dữ liệu chi phối các dự án đó có trong kiến thức học máy cơ bản cho lãnh đạo.

Dấu hiệu đã sẵn sàng, và chưa

Sẵn sàng: báo cáo tháng mất hơn hai ngày; lãnh đạo hay hỏi những câu mất một tuần để trả lời; ít nhất hai hệ thống giữ dữ liệu chồng nhau; có người sẵn lòng làm chủ các con số.

Chưa: doanh nghiệp chạy trên một hệ thống và vài bảng tính mà một người hiểu hết; báo cáo mất một buổi chiều. Khi đó một bảng tính có cấu trúc tốt hoặc một ứng dụng nghiệp vụ đơn lẻ là bước tiếp theo đúng, không phải nền tảng. Moniro sẽ nói thẳng điều đó.