プロダクト開発において、UXデザインやUXリサーチを導入する場合にインタビューと並んで実施されることが多い、ユーザビリティテスト。実施の機会が増えてきた一方で、このような声が多く聞かれます。
「テストで得られた示唆が開発において有効に活用されない」
「開発チームの合意が得られないまま、テストだけが走ってしまった」
そこで今回はスマートバンクのUXリサーチャーである、瀧本はろか氏を講師にお迎えし、スマートバンクでの開発におけるユーザビリティテストの実践術について講義をいただきます。
スマートバンクでは、「Think N1」というバリューのもと、職種に関わらず全員がユーザーの生活を深くリサーチしながら、新しい家計管理サービス「B/43（ビーヨンサン）」を開発しています。今回は、2023年7月にリリースされたメンバーシッププラン「B/43プラス」のユーザビリティテストプロジェクトを題材に、リリース前の決められた期間の中、PM、デザイナー、iOSエンジニアとともに設計・準備し、実査後にチームメンバーでクイックに気づきを共有しながら調整を進めた方法について伺います。
チームでの取り組み方、実装フェーズへのテスト結果の手渡し方の工夫など、実例をもとにご紹介する貴重な機会、ぜひご参加ください！
とのことなので参加しました。
▼自己紹介
瀧本 はろか｜ 株式会社スマートバンク UXリサーチャー
▼所属会社
・株式会社スマートバンク
・パーパス：人々が本当に欲しかったものをつくる
・バリュー：Think N1、Super Ownership、Be Open
▼サービス紹介
B/43
・お金の流れを、もっと透明に。
・Google Play ベストオブ2022 「生活お役立ち部門」大賞受賞
・B/43 マイカード：ひとりで使う
・B/43 ペアカード：ふたりで使う
・B/43 ジュニアカード：親子で使う
▼B/43プラス
・ユーザーからの声をもとにアップグレード機能を作り、
「B/43プラス」メンバーシッププランとして提供開始することに
▼お金を通して、未来を照らす
・月額480円
▼B/43プラス限定カード
・B/43プラス限定カード
マーブルとブラックの2種類
未来を照らす光をホログラムで表現
▼B/43プラスの新機能
1.明細の分割
2.明細への画像添付
3.カテゴリのカスタマイズ
4.ポケットが10個に
5.明細のCSV出力
6.まとめ履歴の閲覧
▼B/43プラスを通じてユーザーの生活をアップデート
・ポケットが10個に。
・カテゴリのカスタマイズ
※B/43プラスの機能はアンケート、インタビュー等を経て決定
▼機能検討のため、複数のリサーチを組み合わせた
・アンケート調査
・インタビュー
・ユーザビリティテスト
▼ユーザビリティテスト
▼調査目的
・リリース前に、ユーザビリティ上のクリティカルな問題がないか
リサーチャー、PM、デザイナー、アプリエンジニア
▼実施期間と流れ
・期間：リリース３週間前から実施
まだ開発中の機能もあったこと、実際のデータで日常的につかって問題ないかを洗い出したかったため、前半・後半に分けて実施
・前半：オフィスで実機操作
・後半：Testflightを用いて社員が日常遣い
▼（手作り感あふれる）テスト環境の整備
・表情を撮影
・操作の様子を撮影
・ZOOMで中継（本番はスマホカメラのみ接続）
▼チームの役割分担
多職種のメンバーと分担しながら一緒に進行した。
▼役割分担と進行フロー
・PMとリサーチャーが設計、リクルーティングを実施
・デザイナー、アプリエンジニアは調査準備から。
・実査は全員が担当
・モデレータはリサーチャー、それ以外のメンバーはサポート。
・たくさん対象者を囲むといけないので、それ以外のメンバーはZOOMを離れたところで観察
・分析はPMとリサーチャー。
▼実査風景
・Notionにユーザビリティ上の課題を書き出す
・Figjamで発話や気づきを画面ごとにリアルタイムで記録
▼ユーザビリティテストの気づき→実装のサイクルを共有
・テストには全員同席し、終わったらすぐ以下３つを話し合う→TO DOに落とす
①修正ポイントの確認
②修正ポイントの重みづけ
③修正方針を検討、担当者決め
▼実際に修正したポイント
・入金完了→カード選択画面への遷移が、B/43プラス申し込み完了の誤認を促進していそう。
テストを経て、残高不足の入金完了画面で「B/43プラスの申し込み画面」へ遷移させることで迷わないようにした。
※ユーザビリティテストの気づき→実装のサイクル
リサーチ結果を「実装」に繋げる
▼スピーディに開発に繋げるための運営Tips
①実査の流れを全員でチェックする
②配信環境チェックの時間を必ずとる
③着手優先度や対応者についてエンジニアに連携しやすい形にする
→エンジニアがQAで使用したデータベースに統合・管理
・全てのステップを一緒に進めリサーチャーと同じ情報量を「チームで持つ」状態に
・本番と同じ環境を再現、音声と画面の見え方、問題ないかは念入りに！
▼対象者の発話と対応要否・対応内容・修正担当をセットにしておく
・発話と検討事項をセットにして記録
▼ユーザビリティテストを経ての気づき
・PM：ユーザー数を押し上げる成果を得られた
・デザイナー：チーム全員が同じ場所を見ることで、次にやるべきことが共有できた。
・アプリエンジニア：アプリエンジニア起点で改善案を出してクイックに実装へ進めることができた
▼クイックに実装まで進める工夫
・同席→振り返りを実査ごとに行うことで、調査まとめ・共有時間をショートカットできる
※テストが終わるタイミングで着手することが決まっている状態をつくる
※SmartBank Research Culture Bookができました。
https://smartbank.co.jp/recruit/research-culture-book
▼Q&A
Q.ユーザーのリクルーティングはどのように決めましたが。
→実機操作してほしいのでオフィスに来てくれる人。
B/43をまったく知らない人。
Q.何名くらいやりますか。
→５人に近しい人に聞けたらよいように調整、
すっごい多い人数はない。
Q.リリース日を意識した上で、決定していたのかみたいなところと、
ユーザビリティテストを実施するかしないか、どのような基準で決めたのか。
→
Q.ユーザビリティテストを実施するしないをどう判断しているのか。
→PMが中心になって決める。
Q.ユーザーさんに心の声を発話してもらう案内はしたのでしょうか
→いわゆる発話思考法ですね。ご案内をしました。
Q.修正を行う際にその修正どれぐらいのユーザビリティの改善があるか試算されたりしますか。ユーザービリティの定量的の把握などはしていますか。
→事業フェーズによって変わってくる。ユーザービリティの指標をとったりは今のところ取っていない。
Q.インサイト分析に時間をかけてないように感じました、KJ法みたいなことはしないのか。
→実査が終わってTo Doに各実に落とすよりは、一個づつたまっていく。
ラップアップの30分くらいで関係者で見て実際の発言と見合わせて認識をとっている。なるべき現実解と合わせてやっている。
Q.インタビューの改善のやるやらないは誰がきめているのか。
→ユーザー視点で登録できない、申し込みできないなどだとリリースを後らしたりもある。
Q.実査の流れ
→観察をみんなでやることが大事。
Q.インタビュー後のまとめ時間はどれくらいとっているのか
→当日のテストについては当日中には。
→まとめる時間はPMなどがMTGで使う場合があるので、
合わせるように進めてる。
Q.オンラインでやることはありますか？
→実機で行うので、たぶんZOOMでもMeetでも手元が映らないことはあるが、画面を共有いただいて、発話しながらモデレータが見る。
Q.現在の仕組みをもっと良くしたいポイントは何かありますか？
→たくさんある。分析の時間がとかっていうのとですね、お時間すごいからかけたすごいものが出るかっていうと、なんかすごい引き換えにリリースを遅らせるってなっても、やっぱりそこはあんまりないじゃないかなと思ったりもしますし
どれがいいだけとか。でも個人的にはそのリサーチの正しさみたいなのところっていうのもちろん大事ですけど、チームの目線が揃ったりですとか何とか思ったりですとか、あとやっぱ次のリサーチってやっぱ通過点にすぎないと思いますので、そこを経てその後ろに控えてるメンバーの皆さんがちゃんと進みやすくなってたりするかなみたいなことかなんかこれをちゃんとやる意味というかなんかこうした方がいいかなと思ってるかなっていうかなみたいなそのあたりが自分にかかるので、何かそういった目線からそのリサーチの流れみたいなところはもう1回やってることですね。何か見直してアップデートできるんじゃないかなというふうに探してる感じです。
★はろかさん自身がイベントレポートを書いてくれているので、
そちらも見るといいと思います。
【イベントレポート】B/43プラスの開発プロセス大公開！リリース前に課題を見つける、ユーザビリティテストの活用術 – inSmartBank
https://blog.smartbank.co.jp/entry/2023/12/05/170000
ちょっと苦言なのですが、
マイクは良いものを使ってほしい、
ハウリングしてて質疑応答が聞き取れませんでした。
コメント