Khi A/B testing không cho bạn biết toàn bộ câu chuyện

Mỗi năm, các marketer chi hàng tỷ đô la cho các chiến dịch nhằm thu hút, giữ chân và bán thêm sản phẩm cho khách hàng. Tuy nhiên, bất chấp sự đầu tư lớn này, việc xác định mức độ hiệu quả của những sáng kiến này thực sự là rất khó khăn và chúng có thể được cải thiện như thế nào? Một phương pháp phổ biến để đo lường Lợi tức đầu tư (ROI) của chiến dịch là chạy A/B testing: Các marketer sẽ nhắm mục tiêu khách hàng bằng hai cách khác nhau, sau đó so sánh kết quả giữa hai nhóm. Với cách tiếp cận phù hợp để phân tích, các A/B testing này có thể cung cấp thông tin chi tiết hữu ích - nhưng chúng cũng có khả năng gây hiểu lầm cao.

Để hiểu những thiếu sót về cách A/B testing thường được sử dụng, hãy xem qua một ví dụ giả định sau đây:

Hãy tưởng tượng bạn làm việc cho một tổ chức nghệ thuật lớn đang lo ngại về việc giảm tỷ lệ giữ chân các thành viên. Bạn đang nghĩ đến việc gửi một món quà nhỏ cùng với thông báo gia hạn cho những thành viên có khả năng bị hủy tư cách thành viên cao, nhưng vì điều đó có sự mạo hiểm cao, nên bạn muốn đảm bảo rằng cách làm này có hiệu quả trước khi triển khai nó ra một cách rộng rãi hơn. Vì vậy, bạn quyết định chạy một chiến dịch thử nghiệm nhỏ, chọn ngẫu nhiên một nhóm gồm các thành viên “có nguy cơ” để nhận quà và một nhóm không nhận, để xem liệu những người nhận được quà có nhiều khả năng gia hạn không.

Bây giờ, giả sử bạn không tìm thấy bất kỳ sự khác biệt nào về tỷ lệ giữ chân giữa các thành viên nhận được quà tặng và những người không được nhận. Nếu bạn kết thúc phân tích của mình ở đó, có khả năng bạn sẽ hủy chương trình quà tặng, vì dữ liệu dường như cho thấy rằng việc gửi quà tặng không ảnh hưởng đến tỷ lệ giữ chân. Nhưng khi kiểm tra kỹ hơn dữ liệu, bạn có thể thấy rằng đối với một nhóm nhỏ khách hàng nhất định - chẳng hạn như những người đã ghé thăm địa điểm vào năm ngoái - trên thực tế, món quà đã làm tăng đáng kể cơ hội gia hạn của họ, trong khi đối với những khách hàng chưa đến thăm địa điểm trong một thời gian dài, món quà thực sự khiến họ ít có khả năng gia hạn hơn, có lẽ vì nó là một lời nhắc nhở nổi bật hơn về mức độ hiếm khi họ sử dụng tư cách thành viên của mình. Sử dụng A/B testing để đánh giá hiệu quả trung bình của một chương trình có thể che đậy những thông tin chi tiết quan trọng về việc khách hàng có khả năng tiếp nhận chiến dịch đó nhiều hơn hoặc ít hơn (cho dù phân tích cho thấy chương trình có tích cực, tiêu cực hay như trong ví dụ này, một ảnh hưởng không đáng kể), khiến các marketer đưa ra quyết định sai lầm về việc chạy chiến dịch nào với khách hàng nào.

Tối ưu hóa Chiến dịch Phòng chống “Churn”

Churn rate – Tỷ lệ Churn (đôi khi được gọi là tỷ lệ tiêu hao): theo nghĩa rộng nhất, là thước đo số lượng cá nhân hoặc vật phẩm di chuyển ra khỏi nhóm tập thể trong một khoảng thời gian cụ thể. Đây là một trong hai yếu tố chính xác định mức độ ổn định của khách hàng mà một doanh nghiệp sẽ hỗ trợ.

Đây không chỉ là giả thuyết - trên thực tế, ví dụ này dựa trên một tổ chức thực tế mà tôi đã làm việc cùng trong quá trình nghiên cứu của mình. Khi đề cập đến việc tăng tỷ lệ giữ chân, các công ty thường xác định những khách hàng "rủi ro cao" - tức là những khách hàng có hành vi gần đây hoặc các đặc điểm khác cho thấy họ đặc biệt có khả năng hủy đăng ký hoặc ngừng mua sản phẩm của công ty - và sau đó chạy A/B testing để xác định xem các chiến dịch giữ chân của họ có hiệu quả với nhóm này hay không. Mặc dù đây là một chiến lược dễ hiểu, nghiên cứu của tôi cho thấy rằng nó có thể phản tác dụng nghiêm trọng, vì nó có thể khiến các marketer đưa ra những quyết định sai lầm mà thực sự làm giảm tỷ lệ giữ chân tổng thể và ROI trên chi tiêu marketing.

Cụ thể, tôi đã tiến hành thử nghiệm thực địa với hai công ty lớn đang triển khai chiến dịch giữ chân người dùng. Trong phần đầu tiên của nghiên cứu của tôi, cả hai công ty đều phát triển các biện pháp can thiệp giảm “churn rate” và sau đó chạy thử nghiệm A/B theo dõi “churn rate” cho tổng số hơn 14.000 khách hàng, trong đó một nhóm khách hàng được chỉ định ngẫu nhiên nhận được các biện pháp can thiệp và nhóm còn lại thì không. Tiếp theo, tôi đã thu thập một tập dữ liệu phong phú về thông tin khách hàng, bao gồm hoạt động gần đây và sự gắn bó với công ty, thời gian làm khách hàng của công ty, vị trí và các chỉ số khác được sử dụng để dự đoán rủi ro rời đi của người dùng và kiểm tra những đặc điểm nào trong số này tương quan với phản ứng tích cực đối với các chiến dịch giữ chân người dùng.

Trên cả hai công ty, tôi nhận thấy rằng những khách hàng được xác định là có nguy cơ rời đi cao nhất không nhất thiết là mục tiêu tốt nhất cho các chương trình duy trì - trên thực tế, có rất ít mối tương quan giữa mức độ rủi ro rời đi của khách hàng và mức độ nhạy cảm của họ đối với các biện pháp can thiệp . Dữ liệu cho thấy rằng có một nhóm khách hàng khác biệt phản ứng mạnh mẽ với mỗi sự can thiệp (khách hàng có đặc điểm hành vi hoặc nhân khẩu học cụ thể liên quan đến việc ít có khả năng rời đi sau khi nhận được các biện pháp can thiệp), nhưng nhóm “nhạy cảm cao” đó có hầu như không có sự trùng lặp với những người được xác định là “nguy cơ rời đi cao”. Và điều này có ý nghĩa nghiêm trọng đối với ROI: Phân tích của tôi cho thấy rằng nếu hai công ty chi tiêu cùng một lượng ngân sách marketing nhắm mục tiêu vào nhóm “nhạy cảm cao” hơn là nhóm “nguy cơ rời đi cao”, thì tỷ lệ bỏ cuộc của họ sẽ giảm thêm Lần lượt là 5% và 8%.

Tất nhiên, các yếu tố cụ thể khiến khách hàng có nhiều khả năng dễ tiếp nhận chiến dịch giữ chân hơn sẽ khác nhau giữa tổ chức với tổ chức và thậm chí từ chiến dịch này sang chiến dịch khác, nhưng việc chạy thử nghiệm như mô tả ở trên có thể giúp bạn xác định các đặc điểm sẽ là yếu tố dự đoán tốt nhất mức độ nhạy cảm của khách hàng đối với một chiến dịch cụ thể.

Ví dụ: một trong những tổ chức trong nghiên cứu của tôi là công ty viễn thông có quyền truy cập vào dữ liệu chi tiết về các chỉ số hành vi như số lượng cuộc gọi mà khách hàng đã thực hiện trong tháng trước, số lượng tin nhắn họ đã gửi, gigabyte dữ liệu đã tải xuống, v.v. . Đối với công ty này, dữ liệu cho thấy cách khách hàng tương tác gần đây nhất với công ty dự đoán mức độ rủi ro ngừng hoạt động của họ, nhưng không ảnh hưởng đến mức độ nhạy cảm của họ đối với sự can thiệp của họ. Điều gì đã làm dự đoán độ nhạy là việc sử dụng dữ liệu của họ - cho thấy rằng để tối đa hóa ROI, công ty nên xem xét nhắm mục tiêu chiến dịch giữ chân của họ không phải vào những khách hàng đã không tham gia trong một thời gian dài, mà là những khách hàng đã sử dụng nhiều dữ liệu nhất.

Chuyển từ Dự đoán sang Kê đơn

Vậy điều này có ý nghĩa gì đối với các marketer? Thông tin chi tiết chính là các chiến dịch marketing nên được nhắm mục tiêu dựa trên phản ứng dự kiến của mỗi khách hàng đối với chiến dịch đó, chứ không phải dựa trên những gì khách hàng dự kiến sẽ làm khi không có chiến dịch. Theo một nghĩa nào đó, các marketer cũng giống như các bác sĩ: Các bác sĩ không chỉ đưa ra các phương pháp điều trị ngẫu nhiên cho những bệnh nhân có nhiều khả năng tử vong - họ kê các phương pháp điều trị cụ thể cho những bệnh nhân có nhiều khả năng phản ứng tích cực nhất với các phương pháp điều trị đó.

Thay vì cố gắng dự đoán những gì khách hàng sẽ làm (tức là cố gắng xác định nguy cơ bỏ cuộc của họ), các marketer nên tập trung vào cách các loại khách hàng khác nhau sẽ phản ứng với các chiến dịch cụ thể và sau đó thiết kế các chiến dịch có nhiều khả năng hiệu quả nhất để giảm tình trạng gián đoạn giữa một nhóm khách hàng nhất định. Các công ty nên tận dụng dữ liệu A/B testing không chỉ để cố gắng đo lường hiệu quả tổng thể của một chiến dịch trong số tất cả các khách hàng, mà để khám phá loại khách hàng nào sẽ nhạy cảm nhất với các biện pháp can thiệp nhất định. Điều đó có nghĩa là kết hợp dữ liệu nhân khẩu học và giao dịch lịch sử của khách hàng với dữ liệu được thu thập thông qua các A/B testing để xác định các hành vi và đặc điểm khiến khách hàng có nhiều khả năng phản ứng với một chiến dịch cụ thể nhất. May mắn thay, nhiều công ty đã thu thập tất cả dữ liệu này - vấn đề chỉ là tận dụng nó theo một cách mới.

-----------------------------------------------

Khái niệm về các chiến dịch marketing được nhắm mục tiêu không có gì mới - nhưng điều quan trọng là phải suy nghĩ kỹ về cách bạn thực hiện các quyết định nhắm mục tiêu đó. Thay vì chỉ đoán xem những yếu tố nào có thể chỉ ra rằng ai đó là mục tiêu mạnh mẽ hoặc tập trung vào nhóm được coi là ưu tiên cao (chẳng hạn như khách hàng có nguy cơ rời đi cao), các công ty nên nhắm mục tiêu đến những khách hàng nhạy cảm nhất với các can thiệp cụ thể. họ đang triển khai. Để tối đa hóa ROI, các marketer cần ngừng hỏi, "Liệu sự can thiệp này có hiệu quả không?" và bắt đầu hỏi, "Sự can thiệp này hiệu quả nhất cho ai?" - và sau đó nhắm mục tiêu các chiến dịch của họ cho phù hợp.

Eva Ascarza là Phó Giáo sư Quản trị Kinh doanh tại Trường Kinh doanh Harvard.