數據的比較分析(一):我們達到或者超過目標瞭嗎?

從零開始學運營,10年經驗運營總監親授,2天線下集訓+1年在線學習,做個有競爭力的運營人。 瞭解詳情

釋放雙眼,帶上耳機,聽聽看~!

00:00

00:00

基於數據的基準對比,就是通過不斷的對比去發現我們的產品距離目標是否達到瞭?還是有一定的距離呢?

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

數據的價值需要靠有兩點來實現:

  • 第一,大數據是需要由小數據的精準、完整、及時;這關系到的是實際業務場景的分析和數據指標體系的搭建,這方面我在後面的文章中會講解說明;
  • 第二,就是數據的比較,隻有通過數據的比較,數據才會賦予生命力;一個同比,另外一個是和同行比;如果用更加可執行的語言來說的話,一個是基於基準的比較,第二個是基於不同產品的比較。

上節中我有提過數據分析都是基於一定的目的,基於基準的比較目的是檢驗我們的產品數據是否達到瞭目標;基於不同產品的比較,目的是為瞭測試我們哪一版本的產品設計更加符合用戶的需求,這個我們將在下一節中闡述。

基於基準的比較分析——我的的產品達到目標沒

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

從上面的兩個描述分析說起,“描述一”中該數據就是一個很簡單的陳述,我們無法知道老王賣瞭1000元水果,這個值是多還是少,是增加瞭還是減少瞭,所有這個數據的描述是毫無意義的。

“描述二”中,該描述是有對比,昨天是800元這是一個基於歷史數據的基準,今天是1000元是在歷史數據的基礎上有所增長,所以我們可以認為老王今天的營收多餘昨天。

關於對於基準的對比總結瞭從以下的幾個維度分析:如何設定基準、確保統一維度、通過樣本數量和數據類型來選取計算公式。

以下我們來一一分析:

1. 如何設定基準

一般來說有以下幾種方法:

1)基於這個產品任務以往測試所得歷史數據

2)基於已發表科學研究或市場研究的發現

3)同負責產品的利益相關者商議標準

無論用什麼方法,不要讓分析的產生麻痹你設定特定目標;定義目標並不容易,尤其在你即將開始可用性計劃時。不要給你設定的第一目標限制,重要的是你要立即創建一些具體的目標,這樣你就能測量改進的效果。

如果發現目標不現實或者不合適,你可以修訂它們。如果你發現自己需要去做這類修訂,試著在獲得經驗的早期修訂,並用產品來進行最初的測量。不要為適應一個不易用的產品去改變合理的目標。

2. 確保統一維度

測量目標的最客觀基礎來自前人或者競品的可用性研究數據,為瞭最大化普適性,歷史數據應該來自相同的條件下、相似的類型參與者完成相同任務的研究。

舉個例子:

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

從上面的例子可以看出,保持統一的維度,變量的對比之間才有意義。如果描述8和描述9 改成:“描述8:老王賣水果,在山東賣,早上賣瞭1000元。”“描述9:小李賣水果,在山西賣,賣瞭1500元”。那這個時候我們就很難斷定,賣水果的價格差異,是人的能力問題引起的還是地理位置引起的。所以對比分析確保地理緯度一直才有對比性可言。

3. 計算方法

與上節中我們提到的置信區間的計算方法一樣,所用的計算方法主要取決於“數據的類型(離散型二進制VS連續型)和樣本量大小”。

(1)離散型二進制數據

離散型數據主要用於測量對比任務完成率這樣的指標的時候居多。

1)針對小樣本的離散型數據

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

以上公式是“精準概率”的計算方法,還有一個是“中間概率”的計算方法,我們通過以下的一個例子來對比以下,以下兩個區間的計算方法有什麼異同。

ex:在一場設計初期的測試中,9名用戶中有8名成功的完成瞭任務。是否有充足的證據表明,至少有70%的用戶可以成功完成任務?

解:完成率的觀測值為8/9=88.9%。假定總體完成率為70%,用二項式精準區間概率可以得到9次嘗試中成功8次成功以上的概率。為此,我們計算恰好8次成功的概率和恰好9次成功的概率。

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

精準概率的計算:9次嘗試中有八次成功或者九次成功的概率為0.1556+0.04035=0.1960。換句話說,完成率有80.4%的可能性會超過70%

中間概率的計算:我們使用1/2(0.1556)=0.07782,而不是0.1556。然後把這一半的概率加上9次成功的概率(0.07782+0.04035),得到中間概率值(mid-p-value)=0.1182。現在我們可以說完成率有88.2%的可能性超過70%。

從計算的數值看,“精準概率”的計算方法比“中間概率”的計算方法要保守。

2)針對大樣本的離散型數據

上面我們介紹小樣本的離散型二進制數據的時,是直接計算p值。在計算大樣本的離散型數據的時候需要使用 z 分數來生成p值,隻有當樣本中至少有15個成功樣本和15個失敗樣本的時候才適用。

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

隻有當樣本中至少有15個成功樣本和15個失敗樣本的時候才適用,得到的Z值可以使用Excel公式=NORMSDIST(Z)獲得標準正態累積分佈到Z的概率值。

(2)連續型數據

離散型數據主要用於在測量滿意度評分和任務時間這樣的指標居多。

1)評分類數據與基準的對比

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

等式告訴我們等式的結果想要告訴我們樣本平均值和基準之間的標準差是多少,標準差越大就越說明樣本超出基準。在Excel中統計顯著性p-value=TDIST(ABS(t),自由度,方向);t 需要取絕對值,因為有時候平均值比基準小的情況。自由度=樣本量n-1;方向雙向檢測為1,單側檢驗為0。

2)時間類數據和基準對比

數據的比較分析(一):我們達到或者超過目標瞭嗎?
數據的比較分析(一):我們達到或者超過目標瞭嗎?

任務時間趨於偏正態(有右側長尾),大多數統計出來進程基於這樣的一個假設:數據近似均勻且正態分佈。為瞭補救這個問題,我們首先將原始數據轉化為時間的對數,然後和問卷數據處理方法一樣,執行樣本t檢驗。

連續性數據總結:對於連續性數據是根據計算t 值再來轉化成p-value值,來對比統計的顯著性。同樣我們需要計算數值置信區間,看看基準是否落在該置信區間裡面,再來判斷該對比是否有意義。

總結

基於數據的基準對比,就是通過不斷的對比去發現我們的產品距離目標是否達到瞭?還是有一定的距離呢?以便於發現問題,制定下一步的產品策略。

本文由 @平遙抒雪 原創發佈於人人都是產品經理。未經許可,禁止轉載

Hello world!
數據的比較分析(一):我們達到或者超過目標瞭嗎?

Via www.woshipm.com

Ref. http://996.pm/MkqOR, https://union-click.jd.com/jdc?d=ZKPlW2

推薦閱讀:

Spread the love

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *