A/B 比較檢測計算器

在 AB 測試實驗的背景下，統計顯著性是指不會因為錯誤或是隨機情況，使得實驗的控制版本與測試版本之間出現差異的可能性。

舉例來說，如果執行的測試的顯著性等級為 95%，則您可以確保差異有 95% 的機會是真實存在的。

企業中普遍會使用統計顯著性來觀察實驗對於企業轉換率所產生的影響。在調查問卷中，統計顯著性通常會用來確保調查問卷的結果是否可信。舉例來說，如果在調查問卷中詢問受訪者偏好的是廣告概念 A 或是廣告概念 B，在選擇要使用的廣告概念之前，您可能需要確定調查結果的差異為統計顯著性。

第一步是形成一個假設。對於任何實驗，都存在一個虛無假設，陳述所比較的兩件事與對立假設之間沒有關係。對立假設一般會嘗試證明此種關係存在，並且是您試圖證實的陳述。如果您談論的內容與轉換率 AB 測試有關，則您的假設可能需要在頁面中新增按鈕、影像或是複本，以瞭解其是否影響轉換率。當您使用問卷調查進行概念測試 (例如上面的例子)，您的假設可能需要測試不同的廣告變數以瞭解哪些是最吸引人的內容。

在制定虛無假設以及對立假設之後，統計學家有時會進行測試以確保其假設正確。Z 分數可評估您的虛無假設的有效性。它可以讓您瞭解您所比較的事物之間實際上是否沒有關聯。P 值則是告訴您是否必須證明替代假設的證據是否充分。

在執行統計顯著性測試時，一個有用的作法是決定您的測試為單面測試或是雙面測試 (有時也稱為單尾測試或是雙尾測試)。單面測試是假設您的對立假設將會有方向效應，而雙面測試則會解釋您的假設是否也會對您的結果產生負面影響。一般而言，雙面測試是級較為保守的選擇。

即使是專業的統計學家也會使用統計建模軟體來計算顯著性以及支持顯著性的測試，因此我們在這裡並不會對其過度深入研究。但是，如果您正在執行 AB 測試，則可以使用頁面頂端的計算器來計算結果的統計顯著性。如果您嘗試計算調查問卷結果的顯著性，SurveyMonkey 能夠自動幫忙您進行。