A/B split testing hoặc A/B testing

A/B split testing (hay còn được gọi là split testing, A/B testing) là một quy trình mà trong đó hai phiên bản (A và B) sẽ được cùng so sánh trong một môi trường / tình huống được xác định và qua đó đánh giá xem phiên bản nào hiệu quả hơn.

Big Data – Dữ liệu lớn khiến việc tiến hành các thử nghiệm A/B dễ dàng hơn, vày đây là lý do thứ tư khiến dữ liệu lớn trở nên quyền lực. Trước thời của dữ liệu lớn, việc thực hiện các thử nghiệm A/B có nhu cầu rất lớn. Chẳng hạn, để kiểm nghiệm hiệu quả tác động của một đoạn quảng cáo, một công ty sẽ phải tuyển những người tham gia, tiến hành khảo sát phản hồi của họ rồi phân tích kết quả.

Tuy nhiên với dữ liệu lớn, các nhà khoa học dữ liệu có thể viết một chương trình để phân tích dữ liệu từ các cuộc thử nghiệm A/B.

Giải thích cụ thể hơn

Thử nghiệm đa biến (A/B testing) là khi bạn thay đổi một vài đặc điểm của sản phẩm và thử nghiệm với một số nhóm người dùng.
Với nhóm người dùng A bạn thử nghiệm một số đặc điểm, với nhóm người dùng B bạn thử nghiệm một số đặc điểm. Sau đó, bạn sẽ có được kết quả với nhóm khách hàng A và B và những đặc điểm của sản phẩm bạn đã thử nghiệm với họ.
Một cuộc tranh luận là nếu việc thử nghiệm cùng lúc nhiều đặc điểm như vậy sẽ mang lại kết quả thực sự. Vì sẽ khó nhận ra trong nhóm các đặc điểm kết hợp đó, đặc điểm nào thật ra là có tác động thực sự. Thử nghiệm là việc phải thực hiện liên tục và những cuộc tranh luận có thể sẽ tiếp tục diễn ra.
Với A/B testing, kích thước mẫu, nghĩa là số lượng khách hàng chọn để thử nghiệm sẽ quan trọng. Nếu bạn chọn số mẫu ở hàng trăm thì kết quả chưa đại diện để kết luận cho đa số khách hàng mục tiêu của bạn. Có một ví dụ để minh họa chuyện này.
Nếu bạn A/B testing trong 1 ngày và có 2000 visitors, và kết quả là 70% với nhóm đặc điểm này. Bạn có thể cho là thử nghiệm này đã thành công. Sau đó, bạn cũng tìm thấy rằng khi một blog mới được liên kết với sản phẩm của bạn. Lượng traffic từ blog chiếm khoảng 90% lượng traffic trong ngày đó của trang sản phẩm được liên kết.