田頭拓己のブログ

田頭拓己のブログ

一橋大学大学院経営管理研究科専任講師。実証的なマーケティング研究。マーケティングに関する小咄や日々の出来事を記録します。

「お客様の声」で売上は伸びるのか?ランダム化比較試験とマーケティング効果測定

前回の投稿において研究論文紹介シリーズの導入を致しました。その投稿から文書内に挿入した画像がブログリンクのサムネイルになるという知見を得たので、まず記事とは無関係の画像を挿入しようと思います。以下の写真はイギリス料理のバンガーズ(ソーセージ)アンドマッシュです。これはイギリスのソーセージ(ドイツ系のとは違い、これはこれでうまい)とマッシュポテトにグレイビーソースをかけたもので、僕はかなり好きです。

f:id:marketing_tgsr:20200318120225j:plain

バンガーズアンドマッシュ

 

論文紹介

さて、マーケティングと因果関係の1つ目の記事として紹介する研究は、Nishikawa, Schreier, Fuchs, and Ogawa, (2017) “The Value of Marketing Crowdsourced New Products as Such: Evidence from Two Randomized Field Experiments”, Journal of Marketing Research, 54(4), 525-539. です。これ以降の本文ではこの論文をNishikawa et al. (2017)*1と表記します。

 

Nishikawa et al. (2017) は、ランダム化比較試験といわれる、セレクションバイアスを取り除き、平均トリートメント効果を分析するための手法を用いています。このランダム化比較試験は因果関係を分析するための最も基本的な(一番明示的に因果を特定できる)手法であるため、本シリーズの最初の手法として紹介します。

 

またこの論文は、法政大学の西川英彦先生と神戸大学の小川進先生の二人の日本人研究者が携わった論文であり、Journal of Marketing Researchというマーケティング分野トップレベルの学術誌に採択された研究成果であるという点で、最初の論文にふさわしいかなと思い選びました。

 

さて、このNishikawa et al.(2017) では、クラウドソーシングと呼ばれる、非エキスパート人材の意見を製品開発に用いる手法の効果に焦点を当てています。具体的には、顧客参加型製品開発のマーケティング的効果を、MUJI無印良品)を調査対象に測定している論文です。 

クラウドソーシングの効果検証

クラウドソーシングに関するこれまでの研究では、 (1) 顧客の意見を採用することで、よりユーザーにとって価値のある製品を作成できる、(2) 「顧客の意見を参考にした」という情報を提示することで、顧客がより価値を感じる、という2つの効果があると予想、議論されてきました。つまり、クラウドソーシングによって、より売れそうな製品を作ることができるのか、それとも製品の質は関係なく「クラウドソーシング」というだれがデザインに関わったかという情報ラベルを提示することに意味があるのか、という二つの論点および仮説を見出すことが出来ます。そのうえで本研究では、(2) の情報提示の効果に焦点を当てています。

 

しかしながら、この情報提示の純粋な効果を分析するのはなかなか大変です。仮に、同ジャンル内の異なる商品群から、クラウドソースされた商品と、従来型製品開発の商品をそれぞれ一つずつ選び、この二つの製品の売上高を比較する場合を考えます。この時、先述の (1) の効果が邪魔になってきます。MUJIであれば、顧客からオンライン等で意見やアイディアを募集し、社内でそれらのアイディアをデザイン化したあと、いくつかのデザイン案を提示し顧客に投票してもらうというプロセスを辿っているそうです(増田・恩蔵、2011 *2 )。つまり、市場に製品を売り出す段階で、人気の高い(と少なくとも見込まれる)ものを選んでいるという問題があります。そのため、クラウドソースされた製品と非クラウドソースの製品とを比較する方法は、「(2) の純粋効果」を調べるためには適切ではありません。

 

このような問題に対して本研究では、MUJIの実店舗を使ったランダム化フィールド実験を実施しています。具体的には、特定の製品(防犯ブザー)に焦点を当て、日本の無印良品46店舗を用いた無作為実験を67日間に渡って実施しました。上記の46店舗における店頭の商品説明に関して、「顧客の意見を反映させた」商品であることを表示する店舗(トリートメント群:23店)とデザインの源泉を表示しない(コントロール群)店舗とをランダムで分けました。図1*3は、店舗での新商品説明表示の例です。このように表示される情報に関して、図2*4の右のように「お客様の声」という情報を含む店舗(23店)と図2左のように「お客様の声」という情報を含まない店舗(23店)に分けたということになります。

 

f:id:marketing_tgsr:20200316222309p:plain

図1 店頭での情報提示例

 

f:id:marketing_tgsr:20200316222238p:plain

図2 コントロール vs. トリートメント

 つまり、トリートメント群と呼ばれる23店舗では「お客様の声」という情報を示した形で防犯ブザーが売られているのに対して、コントロール群の23店舗ではその情報が提示されない形で同じ製品が売られており、筆者たちはこの状況を「ランダムに」作り出したということになります。ここで重要なのは、どの店舗がトリートメント群に入るかという選別が「ランダムである」ということです。

 

少し話は逸れますが、ここで「健康食品」の効果を考えてみましょう。「この商品を食べると健康になります」と謳った商品はごまんとあります(法律上、そこまで言い切らないグレーゾーンの製品が多いですね。いまいち特定の商品が思い浮かばない方は水素水を想定して頂いて差し支えありません)。その際に、実際の利用者が体感した効果が強調されることが頻繁にあるかと思います。しかしこの分析は適切でしょうか(いや、そうではない)。実際の効果はどうあれ、「健康に良い」という情報に飛びついて製品を購入、利用する消費者はそもそも「健康志向が強い」のではないでしょうか。その場合、仮に当該商品の愛用者と非愛用者との間に健康状態の差が確認できたとしても、その差が「商品によってもたらされた結果」か、「健康志向(ライフスタイル)の違いによってもたらされた結果か」を区別できなくなります。これが、前回にも紹介したセレクションバイアスです。健康食品の純粋な効果を主張したいのであれば、ライフスタイルが製品利用の有無に影響しない状況を作り出す必要があります。ランダムに刺激の有無(この場合健康食品の利用)を決定することは、このようなセレクションバイアスを無視できる状況を作り出すことに繋がります。なお、本記事の文末に補足として、セレクションバイアスとランダム化比較試験の関係について簡単に説明していますので、興味のある方は参照してください。

 

つまり、筆者たちはMUJI店舗におけるランダム化実験を行うことで、情報提示以外の、売上に影響を与えうる要素を排除したわけです。その上で、トリートメント群とコントロール群に分けた後、売上に影響を与えうる店舗の特徴に関して、群間に統計的に差がない(二つの群が比較可能である)ことを確認しています。

 

Nishikawa et al. (2017) ではこのように周到に調査設計をし、それぞれの店舗での防犯ブザーの販売データを収集、分析しました。分析の結果、トリートメント群の方が防犯ブザーの販売量が多いということが確認されました。つまり、全く同じ商品にも関わらず、「お客様の声」という情報を与えるか否かで売上が変わるというわけです。この結果を踏まえ、本研究では、クラウドソーシングにおける「情報提示効果」の仮設が確認されたということになります。

 

また、本研究では追加調査、分析を実施し、上記の結果の再現や、追加的な知見を提供しています。具体的な追加分析としては第一に、製品をスナック菓子の文脈に変更した上で、「お客様の声による開発」という情報と「自社デザイナーによる開発」という情報によって(何も提示しない状態と比べた場合の)売上の増加が異なるかを比較しています。その結果「お客様の声」の方が売上の上昇が大きいことを示しています。第二に、これらの結果の背景として、「お客様の声による開発」という情報を受けることで顧客が製品の品質を(実際はどうあれ)高く知覚することで、より買うようになるという心理的な媒介効果についても示唆しています。

含意

本研究の結果は、クラウドソーシングをしたという情報を提示することに意味がある、ということを示しています。ここで重要なのが、この分析によって得られた結果は「データを集計した上での平均的な効果」を表しているということです。そのため、読者の中には「いや、私はそんな(クラウドソーシング)商品買いたくない」と思う方もいるでしょう。本結果はそんなあなたを無視しているわけではなく、そういった人も含めたうえで、平均として、正の効果がある(もう少し正確には、効果がないと解釈するよりもあると解釈したほうが納得度が高い)と確認されたわけです。

 

Nishikawa et al. (2017) の結果だけでも、十分な実務的含意があるかと思いますが、それに加えて、ここでは企業において調査を行う際に気をつけた方が良い点を二つ説明します。第一に、他のどんな要素をコントロールするためにランダム化実験を行うのかきちんと理解することです。例えば Nishikawa et al. (2017) であれば、クラウドソーシングによって製品品質が変わるかもしれないという問題を明示的にクリアするために、このような実験を設定しているはずです。特定のマーケティング施策の純粋効果を分析するために何をコントロールするのか、どんなセレクションバイアスが考えられるのかをきちんと検討することで、良い調査計画になると思います。

 

もしかしたら、私の解説を読んで下さった方の中には「こんな簡単な調査でいいのか。うちの会社でもできそうだ」と思う方もいるかもしれません。そのようなモチベーションを持つことは素晴らしいことだと思います。(自社)企業のデータにアクセスできて、調査を設計できるのであればこのような効果測定は企業内で実現可能だと思います。ただし、本研究の内容がとてもわかり易いのは、筆者たちがクラウドソーシングに関するこれまでの知見をきちんと整理し、調査すべき問い(本当に情報提示効果があるのか?)を明確にしたうえで、その問いに明示的に答えることのできる調査、分析を行っているためです。もちろん、学術的知見についての知識や理論的枠組への理解は不可欠ですが、個人的には、それらに加えて「セレクションバイアス」や「因果効果」という概念への理解もこのような問題設定役立つのではないかと考えています。「相関と因果は異なる」というコンセプトと、「どうすれば効果を測定できるのか」という手法についての知識を持つことで、よりクリアかつ実証可能な問題設定を行う能力につながるのではと期待しています。

 

第二に、「効果がないという結果もきちんと受け入れる」ということです。今回の論文では、クラウドソーシングの正の効果が確認されました。しかしながら、効果について統計的に有意ではない(統計的に考えると効果をゼロと解釈したほうが良い)結果など、予想とは異なる結果を得ることも当然あります。そのような結果も真摯に受け止め、きちんと解釈しなければいけません。このような効果測定について実務家の方とお話すると、「自身が推し進めたい施策の根拠として分析結果を使いたい」という意図を感じることがないと言えば嘘になってしまうのが現状です(研究者にも一部このような方はいますが…)。このような意図は、自分たちの求める結論のために分析結果を無理に解釈をしたり、調査設計を恣意的に変更したりという問題に繋がりかねません。

 

そのため、ある施策を成功させる為に最善を尽くすことと、効果測定のための調査を行うということを区別しなければなりません。本ブログで私が紹介しているのは、調査の手法です。効果があるかどうかがわからないプロモーションを実際に行う前に、それよりも低い予算で効果を調査するということが主な目的になります。なので、もし効果がないということが事前にわかれば、その後無駄な投資を防げるわけです。このように、一見分かりづらいかもしれませんが、効果がないという知見も企業の意思決定に対する貢献を有しているわけです。

 

もし個人レベルでの意識変革が難しい場合には、調査本来の目的をきちんと達成するためにも、マーケティング実行者と調査者を分離し、調査チームが独立して分析業務に従事できるような組織設計などが重要になるかもしれません。また、検証の結果、自分が携わった方策に効果がないということがわかるとマーケティング実行者はいい気持ちはしないかもしれません。ですので効果検証の結果を報酬に反映させないことや、効果検証自体を習慣化することで、分析結果に向き合うことへの経済的、心理的負担を軽減するための組織づくりも重要になってくるかもしれません。

 

セレクションバイアスとランダム化比較試験の関係の概要

この補足欄では、セレクションバイアスとはどういったものなのか、そして今回の記事で紹介したランダム化比較試験がどう効果的なのか、という点について、簡単に説明します。なお、本説明には、簡単な期待値や条件付き確率が使われます。統計学の講義を受講していて、「数式ばっかり解かされて何の役に立つんだよ」と嘆いている経営学部学生のあなた!少なくともここで役に立ちます!!

 

さて、セレクションバイアスを説明するために、ここで個人 i に関するあるトリートメントT と結果変数 Y について、以下のように考えます。

 \displaystyle Y_i= \begin{cases} Y_{1i}\qquad \text{if}\quad T_i=1\\ Y_{0i}\qquad \text{if} \quad T_i=0 \end{cases}

ただし、Ti=1 ならば、トリートメント群、Ti=0 ならばコントロール群に属し、Y1Y0iはトリートメント群に属した場合の結果とコントロール群に属した場合の結果をそれぞれ表しています。ただし、ここでは、Ti=1 になるか Ti=0 になるかは個人が選択することを考えます。

YTの関係は以下のように表すことができます。

 \displaystyle Y_i=T_iY_{1i}+(1-T_i)Y_{0i}

ここで、真の因果効果を求めようと思うと、以下の差を明らかにしなければなりません。

 \displaystyle Y_{1i}-Y_{0i}

しかし、個人 i が Ti=0 に入るか Ti=1 に入るかはどちらか一方しか観察できません。我々が観察できるのは、以下のようなグループごとの平均の差についてです。

 \displaystyle E(Y_i|T_i=1)-E(Y_i|T_i=0)

ここで、このグループ間の平均値の差について、以下のように変形していきます。

 \displaystyle E(Y_i|T_i=1)-E(Y_i|T_i=0)

 \displaystyle =E(T_iY_{1i}+(1-T_i)Y_{0i}|T_i=1)-E(T_iY_{1i}+(1-T_i)Y_{0i}|T_i=0)

 \displaystyle =E(Y_{1i}|T_i=1)-E(Y_{0i}|T_i=0)

 \displaystyle =E(Y_{1i}-Y_{0i}|T_i=1)+E(Y_{0i}|T_i=1)-E(Y_{0i}|T_i=0) 

上式の第一項は、Ti=1 である上でのY1Y0iの差を表しており、実際には観察できない「平均トリートメント効果」を表していると解釈します。

 

一方で、第二項以降の差については、Ti=0 を選んだ人たちの結果の平均値(E(Y_{0i}|T_i=0) )(観察可能)と、Ti=1 だった人がTi=0 に 移った場合の結果の平均値( E(Y_{0i}|T_i=1))(観察不可)の差であると理解できます。この差を「セレクションバイアス」と呼びます。

 

つまり、我々がデータから求めることができるグループ間の平均値の差には、(どちらも観察不可ではあるが)「平均トリートメント効果」と「セレクションバイアス」という2種類の情報が含まれていると解釈することができます。

 

ここでもし、セレクションバイアスがゼロであるならば、以下のような等式が成立することになります。

 \displaystyle E(Y_i|T_i=1)-E(Y_i|T_i=0)=E(Y_{1i}-Y_{0i}|T_i=1)

つまり、セレクションバイアスさえなければ、観察可能なグループ間平均の差から、本来観察不可である平均トリートメント効果のみを抽出できることになるわけです。ここで、改めてセレクションバイアスの中身に注目すると、結果 Y0iTi に依存していることが問題となっていることがわかります。そこで、トリートメント群に入るか否かの選択権を個人に与えず、第三者(研究者など)がランダムに振り分けることで、この問題を解消します。

 

例えば、ここでサイコロを振り、偶数目が出るか奇数目が出るかを観察することを考えましょう。このとき、振ったサイコロの目と、将来の結果 Yi の確率は互いに独立である(出たサイコロの目で将来の結果は変わらない)と考えられます。ここで、偶数目ならトリートメント群に、奇数目ならコントロール群に振り分けるようなランダム化を行った場合の条件付き期待値については以下のように考えることができます。

 \displaystyle E(Y_{1i}|T_i=1)=E(Y_{1i}|T_i=0)=E(Y_{1i})

 \displaystyle E(Y_{0i}|T_i=1)=E(Y_{0i}|T_i=0)=E(Y_{0i})

E(Y_{0i}|T_i=1)=~ の式を使うと、セレクションバイアス (E(Y_{0i}|T_i=1)-E(Y_{0i}|T_i=0)) はゼロになり、グループ間平均の差から平均トリートメント効果を抽出することができるようになります。これが、セレクションバイアスと、ランダム化比較試験の関係についての概要です。

 

余談

初めてはてなブログ上で数式を書いたのですが、普段使っている数式内の改行(\nonumber\\や&&で揃える等)がうまくいかず、かなり不格好になってしまいました。どなたか方法をご存知でしたらご教示いただけると幸いです。

*1:et al. はラテン語の et alii の略でその他 (and others)を意味します。つまり日本語でいうと等に相当すると思われます。英語の学術論文ではこの表記が一般的ですし、私もこの方が書き慣れているので、ここでもこれを採用します。

*2:増田明子、恩蔵直人(2011)「顧客参加型の商品開発」、マーケティングジャーナル, 31(2), 84-98.

*3:Nishikawa et al. (2017) p.529より抜粋

*4:Nishikawa et al. (2017) p.530より抜粋