做過A/B Test嗎?網站測試七大準則,其中第七點最重要

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。
pitfall

Ronny Kohavi 曾任職於 Bing 和 Amazon 等知名網站。現在越來越多的網站開始個人化,不過卻很少有人能像他一樣了解網站測試的內在機制,他之前在微軟擔任軟體與服務的分析與實驗團隊總經理,而更早之前則是亞馬遜的資料探勘與個人化部門的主事者。

Kohavi 和他的同事 Alex Deng、Roger Longbotham 以及 Ya Xu 在 KDD 研討會上發表了一篇論文,記錄了他們在網站測試上的七個準則,而這些準則來自於作者們過去在 Bing、LinkedIn、Booking.com 以及其他公司所獲得的經驗。

網站實驗(Website experimenting),指的是測試網站上的一些小改變,幫助網站所屬的組織可以做出更好的決策。儘管像是 Facebook 的網站測試結果通常不太如意(新版表現得比舊版還糟,以至於改版取消),Kohavi 認為使用者測試仍然是確認任何網站所做的改變是否做對了的最有效率方式。他相信在推出一個網站的改變之前,先用一小群抽樣的使用者來測試會比較好,否則如果那個改變並不受歡迎,就等於冒險一下子讓所有的使用者都獲得不好的使用經驗。

以下就是 Kohavi 與他的團隊所揭露的七個網站測試準則:

1. 小小的改變就可以對關鍵指標有所衝擊。

Kohavi 說:「在軟體的領域,發布的時候有 Bugs 是很正常的。對我們來說,常常發現我們認為很小的改變,但因為有一個 Bug,實際上卻造成很大的負面影響。」舉例來說,有一次 Kohavi 在 JavaScript 的程式碼做了一點改變,並且用了 10% 的人來做測試,結果當使用 IE 7 的時候,卻無法點擊任何一個連結,那是一個非常糟糕的體驗。

但是好的改變也有,Kohavi 舉例他們在 2004 年對 Amazon 所做的小改變就是把信用卡的優惠從首頁移到結帳頁,並且加上文字敘述,告訴消費者如果用 Amazon 的信用卡登入的話,可以省下多少錢。因為這個改變,每年賺了好幾千萬美元。

3034838-inline-amazon-inline

2. 改變很少能對關鍵指標有巨大的正面衝擊。

微軟的團隊說,任何一個網站的測試,想要產生巨大的衝擊幾乎是不存在的。但是,小型的改變可以逐漸被累加起來。像是 Bing 搜尋引擎就是日復一日的小幅調整所完成的。

3. 每個人的里程數不同。

在網站測試上,很重要的一個觀念就是,哪一招在一個網站上是管用的,未必用在另一個網站也一樣有效。要注意的是,測試的結果並非總是可信的,因為人們偶而會出現欺瞞的舉動。

4. 速度很重要。

速度其實比什麼都重要,使用者會去反應他們所拜訪網站的速度。Kohavi 說:「我們在 Bing 做過一次減速測試,那時候我們讓使用者的連線速度以很輕微的比例減慢,看看這會對我們的關鍵指標造成什麼影響?我們大概只減緩了 100 到 200 豪秒,而造成的影響卻非常的巨大。以 Bing 為例,每加速 100 微秒,就可以增加 0.6% 的收入。」

5. 減少使用者放棄的行為是很難的,但是讓使用者改變點擊是簡單的。

要說明這個現象有點複雜,不過大致上來說,如果你要使用者在一個網頁上多點幾下,是很困難的事情,但是如果你要讓使用者點擊同一個頁面上不同的地方,就簡單多了。Kohavi 舉例,當 Bing 移除了超過一千萬個使用者搜尋引擎右側的相關搜尋,經過實驗,頁面的點擊數量卻幾乎一模一樣。使用者下意識地把原本右側相關搜尋的點擊散佈到頁面其他的地方去。

6. 避免複雜的設計。

Kohavi 和他的同事們堅信,對於網站測試來說,越簡單越好。他說最好的測試就是只有 A/B。不管是 A/B/CA/B/C/D 甚至更複雜的測試,對於組織來說都沒有顯著的效益。

其中一個例子就是他們在 2013 年幫 LinkedIn 測試搜尋引擎的更換,有多重因子的複雜測試,讓他們在試圖找到新搜尋引擎上有沒有什麼是使用者討厭的功能時,遇到了很大的困難。最後只能簡化測試,才能找到 LinkedIn 新的搜尋引擎有哪些功能會讓使用者失望。

7. 要有足夠的使用者。

這一個準則也是最難的一個。如果沒有足夠的使用者,就幾乎不可能得到準確的結果,然而到底要多少使用者才夠?則取決於要測試的因子有多少。

延伸閱讀:Lessons In Website Testing From A Master

歡迎加入「Inside」Line 官方帳號,關注最新創業、科技、網路、工作訊息

default-cover

最新發展:


為更有效率的移動而生:Thule Subterra II,應對全球商旅的高機能收納解決方案

對於經常出差的商務人士來說,行李收納是一門重要的學問。Thule Subterra II 系列行李箱和背包,以其簡約時尚的設計、靈活多變的收納空間和堅固耐用的材質,成為商務人士的出行好幫手。

對專業商務人士來說,參加會議、出差,是日常工作中不可或缺的一部分。因此,如何有效率的收納、整理行李,讓自己在每一個場合都能保持從容不迫、游刃有餘的狀態,也是一門學問。行李的收納,不外乎考量的就是整理的效率和邏輯、對物品的保護力以及使用者的舒適度等面向,而擁有絕佳設計的包款或收納袋,更能幫助你事半功倍的達到這些目標。

台灣出生,美國長大,30歲前就擁有在舊金山、洛杉磯、上海的外商擔任高階主管的工作經驗,頻繁往返於香港、上海、台北、東京和美國之間,現任關鍵評論網媒體集團創辦人暨執行長的鍾子偉Joey,今天就要跟大家分享一下,他如何善用來自瑞典的THULE,把出差收納變得專業、迅速,又不失時尚品味。

簡潔高效收納系統,用邏輯達成使用者完美體驗

「關鍵評論網從創辦以來,有許多投資,都來自於國際間重量級的投資者。因此,這些投資人對關鍵評論網的期待,以及我們在國際間能夠發揮的影響力,也一直都是以最高標準在檢視和要求。」Joey說到這幾年積極拓展國內外市場的發展策略,都是為了符合關鍵評論網堅持國際性和獨立性的核心價值,帶給讀者跨文化、跨領域的內容,包括新聞、商業、科技、科學、體育、美食和生活方式等。 

去(2023)年,關鍵評論網與日本東京的Mediagene Inc.(MG)合併而成TNL Mediagene。Joey表示,這是拓展亞洲市場的其中一個階段,「為了這個合併,我大概每個月就要去一次日本,算是相當頻繁。」身為擁有大量跨國合作、外商工作經驗的Joey,談起出差的行程安排,最高原則就是:效率、精實、效率(沒錯,效率講了兩次,因為真的很重要)。「我出差基本上都是去參加各種會議,而且為了要將效率拉到最高,我會盡量把行程塞滿。最誇張的一次是每個鐘頭都有會議,一天下來開了十個會。」

Joey的工作習慣,是每一秒鐘都在追求效率。比方說,如何選擇班機時間?絕對是讓他可以最早展開一天工作行程的那班;機上座位怎麼選?最靠機艙門,方便抵達目的地之後迅速離開飛機。甚至 check in 的時間也很有講究:「我盡量都是最後一秒上飛機,這樣才能把花在移動過程的時間壓縮到最小。」這麼講求效率的Joey,從行李箱的選擇到打包行李的方法,也都是效率掛帥。「因為我很習慣打包了,所以現在基本上都是出發前三十分鐘內就可以收拾好,平時慣用的東西都常備著,打包的時候只要利用行李箱本身的隔間,或者加上一些收納袋,就可以很快的分類收好。」Thule Subterra II 登機箱,擁有多樣化的收納空間,內附的行李壓縮隔板可以依照使用者需求調整,讓鞋子、衣服各自歸位。一些常用的小物、隨身的配件⋯⋯也都有獨立空間可以收納,要收東西,找東西,都是一目瞭然。行李箱頂部的大型袋口設計,和箱內空間連結,所以如果臨時需要從行李箱放取物品,只要拉開袋口就好,不需要整個攤開,保障隱私之外又更加方便迅速。

靈活變換型態、容量隨心擴充,輕鬆適應任何場合

「在會議、工作之餘,我也時常需要參加各種聚會。有很正式的宴會,也會有同行的聚餐,在國外也可能是要去見投資人。所以如果是簡單一點、基本一點的包款,我就可以應付更多不同的場合,而且最好是後背的形式,把雙手留給我自己(笑)。」對Joey來說,一個最理想的隨身包,就是有足夠的容量、簡潔的設計,可以提供聰明和靈活的收納空間。Thule Subterra II的後背包,從裡到外都滿足了Joey的需求。比方Thule Subterra II 26L的旅行後背包,在開口的設計上有個小巧思,可以更快速的取得包包中的筆電,硬挺的方形立體設計,不只讓包中的所有東西能夠擺放的更整齊,包包本身也能夠更好的放在任何地方,不東倒西歪。最棒的是它的擴充功能,容量可以從 26L 的日常通勤包,擴增成 32L 的旅行背包,增加了20% 的空間容量,如果是一日出差行,或者打算在下班之後去個健身房,一個包就能搞定。

如果是平時筆電不離身的人,Thule Subterra II 27L的筆電後背包一定會讓你滿意。一整套完整的收納隔層系統,加上柔軟的襯墊,讓文具、電源線、鑰匙、行動電源和其他各種小物,都能井然有序、安全的收納在包包中。包包背部的透氣設計,最適合台灣悶濕的夏天,加上胸扣設計,即使要長時間的背著包包,也不會感到過分悶熱或疲憊。再加上包包本身附有的行李穿行帶,可以很穩固的把背包固定在行李箱拉桿上,出差、旅行、出國⋯⋯都更輕鬆!

如果收納空間還不夠怎麼辦?THULE的小物收納包超級實用,內附的彈性口袋,可以讓你很整齊的將所有物品固定到位,而且採用耐用材料、襯墊和 YKK 拉鍊,持久耐用之外,還能更好的保護物品不受擠壓碰撞,最適合收納耳機、電源線、變壓器或記憶卡等小東西,讓你每一次出行都能3C不斷電、小工具不離身。

北歐時尚設計x現代機能對應

THULE向來以高度的機能和簡約的設計自豪,也是所有THULE愛用者最推崇的特點。Thule Subterra II系列的每一款包包設計理念,都是為了將這樣的特點再推上新高度。在整體視覺上,除了黑色之外,還加入岩灰和香根草灰兩大都會感色系,讓每一款通勤、筆電、旅行包包,都帶有北歐的時尚風格。在機能上,所有的Thule Subterra II包款,都是以800d尼龍布製成,這種高密度的尼龍布不只能夠有效對抗撕裂,降低整體包重之餘還能負荷更大的重量。另外,防潑水也是尼龍布的特色之一,如果突然下起小雨,或是在咖啡廳中不小心打翻水杯,Thule Subterra II都能輕鬆對抗這些小意外,事後清潔也很簡單——擦乾就好了。

向來重視環境議題的THULE,新一代Thule Subterra II全系列使用符合歐盟 Bluesign認證的環境友善材質,行李箱背殼更採用了再生聚碳酸酯背板——強大的耐用度就是要顛覆大眾對環保材質的印象,兼顧外觀與實用也同時愛護環境。

在現代生活中,工作和生活常常無法避免地交織在一起,能夠在行程中安排額外的旅行,或是利用出差前後的時間來享受生活,成了一種新興的現代需求。擁有外觀設計和機能兼具的包款,你就能夠輕鬆應對各種不同類型的旅程。

Thule Subterra II正是為這樣的需求而生。不僅適合商務旅行,還能滿足旅途中的休閒需求,更能夠因應各種社交場合,靈活變換使用模式,顯現出強大的適應性和多功能性。而它的優化設計,讓每一次的行李收納有條不紊。無論是應對長途出差還是短期旅行,Thule Subterra II都能滿足不同情境下的需求,確保你能輕鬆地管理行李,提高旅行效率。