デザインの効果を、何で測るか

発注前に決めておかないと、あとから決めることはできません。指標を後付けした案件は、成功とも失敗とも言えないまま終わります。何を測るか、いつ決めるか、そして測ってはいけないものについて。

「今回のリニューアルは成功だったのか」を、あとから判断できなくなる。これがデザイン発注でいちばん多い失敗です。

制作物の質が低かったわけではありません。何を測るかを決める前に始めたので、終わったときに比較する相手がいない。その状態だと、社内では感想が集まります。前より良くなった気がする、いや前のほうが良かった、という会話です。そして二回目の予算はつきません。

指標は、発注前に決める必要があります。理由は単純で、施策の前の数字が必要だからです。始めてしまうと、前の数字は取れません。

最低限、この三つ

完了率。 その画面や導線で、やろうとしたことを終えられた人の割合。申込、購入、登録、問い合わせ、設定。何であれ、始めた人と終えた人の比です。

これが一番効きます。デザインの仕事は、ほとんどが「途中でやめる人を減らす」ことに帰着します。そして経営から見ても意味がわかります。

工程ごとの離脱。 完了率だけだと、下がったことはわかっても、どこが原因かわかりません。工程を分けて数えてください。三画面あるなら三つ数える。

これは改善のためではなく、次に何をやるかを決めるための数字です。四工程のうち一つで 70% が離脱しているなら、次の予算の使い先はそこだと決まります。会議で議論する必要がなくなります。

問い合わせの件数と内容。 電話やメールで来る質問のうち、画面を見れば分かるはずのことを聞いている件数。

これはコストとして計上できるので、決裁の場でいちばん通りやすい数字です。そして減ったことがはっきりわかります。

順番だけ守ってください。

現状を測る。何週間分か取る。曜日と月末で数字が動くので、一週間では足りません。四週間あれば形が見えます。

そのうえで施策を始める。

施策後、同じ期間で測る。四週間対四週間。二週間と四週間を比べても意味がありません。

これを飛ばした案件を何度か見ましたが、結論はいつも同じで、効果があったかどうか誰にも言えません。作った側は成功だと言い、見ている側は疑う。そこで終わります。

社内の評判。 役員が気に入ったかどうかは、指標ではありません。これを指標にすると、意思決定が最も声の大きい人の好みに寄ります。実際にそうなった現場を見ています。

滞在時間。 長いほうが良いのか短いほうが良いのかが、画面によって逆になります。記事なら長いほうがいい。申込フォームなら短いほうがいい。方向が決まらない数字を指標にすると、あとから都合の良い解釈ができてしまいます。

PV。 デザインの改善で動くものではありません。集客の指標です。混ぜると、デザインの成果を集客施策のせいで見誤ります。

アンケートの満足度。 悪いとは言いませんが、単独では使えません。回答する人は、そのサービスを使い続けている人に偏ります。離脱した人は答えません。つまり、いちばん知りたい層のデータが構造的に入っていません。

三か月を提案することが多いです。

一か月では季節要因と偶然の区別がつきません。半年だと、その間に他の要因が入りすぎて、何のおかげか分からなくなります。組織変更、価格改定、広告の出稿。三か月なら、たいてい他の変数が一つか二つで済みます。

そして三か月は、社内で二回目の予算を検討する周期に合います。効果が出ていれば次に進み、出ていなければ理由を検討する。どちらでも動けます。

これは起こります。私の案件でも起きました。

そのとき最初に確認するのは、施策が届いていたかどうかです。新しい画面が本当に全員に出ていたか。旧画面が一部残っていなかったか。特定の端末で表示が壊れていなかったか。

技術的な理由で施策の半分が届いていないケースが、思ったより多いです。設計の失敗と配信の失敗は別のもので、対処も別です。

届いていたのに動かなかった場合は、原因が別の場所にあったということです。それも情報です。次に測る場所が絞れます。

正直に言うと、これは良い結果ではありませんが、悪い結果よりずっと価値があります。何も測っていない案件は、この会話自体ができません。

全部が数字になるわけではありません。ここは正直に書きます。

信頼感、ブランドの印象、社内の人が自社のプロダクトを説明しやすくなること。これらは実在する効果で、三か月では測れません。

私の立場としては、こう扱っています。数字で測る部分と、測れない部分を、発注前に分けて明示する。測れない部分について、あとから成果として主張しない。

測れる部分だけで費用の説明が成り立つように範囲を切る。それが誠実な設計だと思っています。測れないものを成果として持ち出すのは、結果が出なかったときの逃げ道になりやすいからです。

長い資料は不要です。

測る指標を三つ。現状の数字。三か月後に期待する数字。誰がその数字を取るか。

これが埋まっていれば、発注は成功しやすくなります。埋まらない項目があれば、その項目が本当の論点です。