計算統計顯著性的 A/B 比較檢測計算器

統計顯著性對於 A/B 測試十分重要，因為它能確保測試結果是必然而非偶然的。 

您可以使用上面的 SurveyMonkey A/B 測試計算工具快速獲得答案。

A/B 測試亦稱作拆分測試或分割測試，是針對兩種不同版本之素材 (如產品構想或廣告創意) 進行效果比較，以看出哪個版本對目標受眾較有吸引力。

研究人員、客戶體驗專員和行銷專家都會使用 A/B 測試來對細微的變更 (例如網站上的新按鈕或首頁設計) 做效果測試，直接向目標受眾收集意見回饋和資料，以協助他們決定要選擇哪個版本。 

以 AB 測試來說，統計顯著性測量的是「控制組與測試組之差異是真實的，並非來自於誤差或隨機因素」的可能性。

舉例來說，假設某個測試的顯著水準為 95%，則表示您有 95% 的信心可以斷定該測試所得到的差異是真實的。

統計顯著性也能用來觀察您的實驗對於轉換率有什麼影響。在調查問卷研究中，統計顯著性的功用是確保您可以對調查結果有信心。 

舉例來說，假設您詢問受訪者比較喜歡廣告概念 A 或 B，您應該先確定調查結果呈現的差異具有統計顯著性，才決定要採用哪個廣告概念。

首先，您必須先提出您的假設。任何實驗都存在兩個假設，一個是虛無假設，也就是假設所比較的兩件事之間沒有關係，另一個是對立假設。

對立假設一般會嘗試證明所比較的兩件事之間有某種關係存在，並且支持您試圖證明的陳述。 

舉例來說，假如您打算進行轉換率 A/B 測試，您提出的假設可能如下：

在制定好虛無假設及對立假設之後，統計學家會進行一些測試來確保其假設是合理而有效的。

z 分數就是用來評估虛無假設的有效性，它能告訴您您所比較的事物之間是否確實沒有任何關聯。p 值則是用來判斷您是否有充分的證據顯示對立假設為真。

再來，您得決定要使用單邊檢定或雙邊檢定 (有時也稱作單尾檢定或是雙尾檢定)。單邊檢定會預設對立假設的方向性，而雙邊檢定則不做此預設，也就是不排除您的假設和結果可能有負面關係的可能性。

以上述的轉換率 A/B 測試為例，您可能選擇的檢定如下：

然後就要開始進行 A/B 測試以收集控制組 (A) 和測試組 (B) 的相關指標了。

在我們的例子當中，A/B 測試的結果可能如下： 

接下來，您會需要計算 z 分數來衡量觀測結果與虛無假設之間的差距，以判定 A 和 B 之間的差距是否有統計顯著性。 

此外，您也會需要計算 p 值，也就是所觀測到的差異純粹只是偶然的機率有多少。p 值越小，就表示調查結果推翻虛無假說的傾向越強。 

在我們的例子當中：

為了確定統計顯著性，需要先設定顯著水準 (α)。這個值通常會設在 0.05 (5%)，它代表的是研究人員願意接受多少「誤將虛無假設否定掉」(假陽性) 的風險。

接著，將您得到的 p 值與所設的 α 值做比較，如果 p 值小於 α 值，您就可以拒絕虛無假設，並得出「所觀察到的差異具有統計顯著性」的結論。 

在我們的例子當中，由於 p 值比 α 值小，因此可以說所觀察到的差異 (14%) 具有統計顯著性。

接著就到了解讀結果的時刻。如果您收到的結果具有統計顯著性，就表示您觀察到的差異不太可能只是偶然，而該結果就成了支持對立假設的有力證據。反之，如果結果不具統計顯著性，就表示觀察到的差異不足以拒絕虛無假說，而有相當的可能只是出於偶然。

為了極大化整個流程的效率，建議您善用工具輔助計算：

總結來說，計算統計顯著性是為了驗證 A/B 測試的結果，讓您知道如何解讀測試結果並做出明智的決策。

歡迎使用本頁最上方的計算工具，讓它自動為您計算調查結果的顯著性。