20%ルールから提案した話

Googleの20%ルールという文化をご存知でしょうか？Googleでは、業務時間の20%を普段の自分の仕事以外に充てても良いというルールがあります。

私が所属するチームでもこの文化に倣って、20%ルールを初期のころから導入しています。そのためチームの中では、「20%ルールでやってみます！」「20%ルールでやってみたら?」というような会話がしばしば発生します。

今回は、20%ルールからプロダクトに反映された事例について書きたいと思います。

20%ルールから発見へ

開発しているサービスでは会員向けのレコメンド機能として、商品ページやトップ画面などに商品のレコメンド機能があります。私は8月ごろから20%ルールでレコメンドに関するデータを観察していました。

データを観察していた目的は、

という背景です。

データの観察を進めていくにしたがって、いくつか気になったことがありチーム内で共有をしました。

そうすると「A/Bテストでできそうならやってみてもいいんじゃない？」という提案をいただき、A/Bテストで回せるようにさらにデータを細かくみていきました。

そうすると、

レコメンドの表示位置が上位の方がクリックされやすい。しかし、特定のレコメンド枠に関しては下位に表示されているのにもかかわらずクリック率が良い！

レコメンドをクリックしたユーザーとクリックしなかったユーザーのデータを比べていくと現在のレコメンドのロジックでは組み込まれていないデータに価値があるかもしれない。

といった発見がありました。

まさに、A/Bテストで試すべき良い題材です。

発見から提案へ

発見した内容をもとに「商品ページのレコメンド枠の順序を入れ替えるA/Bテスト」を提案しました。

期待としては、

という2つの可能性をA/Bテストで検証することになりました。

また、「現行のレコメンドロジックに組み込まれていない情報を組み込むA/Bテスト」も提案しました。

この提案では、現在のレコメンドのロジックでは組み込まれていないデータに価値があるという発見より、このデータを組み込むことでレコメンドの精度が上がり、クリック率が上昇することが期待できます。

これら2つの提案は、実際にA/Bテストとして行われることになり、20%ルールからプロダクトへ反映された事例となりました。

結果

「商品ページのレコメンド枠の順序を入れ替えるA/Bテスト」はすでに実施が終了しており、結果としては「順序を入れ替えた後の方がページ全体のレコメンド枠のクリック率が高くなる」という成果となりました。

私個人としては提案した内容が良い結果だったため少しほっとしたと同時に、これまでこういった提案が少なかったことは反省するべき点であると感じています。

データベースで保持しているデータを開発チーム以外の人でも見ることができるようにBIツールを導入していますが、複雑な条件でのデータ取得の場合はBIツールでは困難なことが多いです。

例えば、ログデータに関してはデータ量が多くパフォーマンス的な懸念もあるためBIツールでは限界があり、開発チームでないと十分なアクセスができないことが挙げられます。また、実際のサービスの内部ロジックやインフラの状態の状態などもプロダクト開発チームしかアクセスできないデータだと言えるでしょう。

今回の結果より、このような開発チームでしか十分なアクセスできないデータでも「ユーザーのための視点」「サービスの品質向上の視点」を持ってデータを観察すると、開発をしているだけだとわからなかったものが見えてくることがあり、発見や疑問が生まれそれが有意義な結果へと結びつくことがあるという知見を得ました。

最後に

今回は、20%ルールという文化から提案へつながり、プロダクトへ反映されたという出来事について書きました。

20%ルールは、「興味があることをやってみたけど成果は出なかった」という場合がほとんどです。しかし、このフランクさこそが大切な要素であり「興味があるからとりあえずやってみたい」という意思が尊重される文化やそれができる環境は恵まれていると改めて感じました。

Share: X (Twitter)