UX Shizuoka ユーザー評価 2013年07月20日

7月20日に行われたUX Shizuokaに遠征してきました、
昨年にユーザー評価を行ったのですが、
かなり上手くいかなかったので、
リベンジ戦です。

講義

▼前回の反省
 UXの勉強をある程度した人ばかりでシナリオを作ったためうまくいかなかったのでは。

▼何を評価するのか
 ISO13407
 特定のユーザーによって、
 特定の利用状況かで、
 指定された目標を達成するために用いられる際の、
 有効さ、効率、満足度

 ※ユーザー調査とユーザー評価

▼ユーザー評価
 1.何を評価するか明確にする
 2.評価方法の選択
  評価の専門家、開発者、ユーザー(ここ重要)
 3.評価と分析

 ※形成的評価なのか総括的評価なのか?
 ※形成的評価は中間テストのようなもので、回りの人が理解してくれているかを確認する、
  総括的評価は期末テストのようなもので、次のステップのために確認する。
 ※形成的評価はアジャイル

▼様々な評価手法
 評価手法は山ほどあるが、
 主にインスペクション評価とモニター評価に分けられる
 
 インスペクション評価
  ・エキスパートレビュー
  ・認知的ウォークスルー

 モニター評価
  ・ユーザビリティテスト(プロトコル分析)
  ・長期観察

▼インタビューの手法
 構造化インタビュー
 半構造化インタビュー
 非構造化インタビュー(デプスインタビュー・エスノグラフィックインタビュー)
 グループインタビュー(グループインタビュー・フォーカスグループインタビュー)

 ※グループインタビューは役にたたない
 時間がたってからの回顧法のインタビューはNG
 (人は時間がたつと思いでを綺麗にしてしまう)

▼神奈川県県立高校Webサイトベストプラクティス
 →高校では長期の観察やインタビューが出来ないため、いくつかの手法を併用した
  (ペルソナとシナリオを利用した認知的ウォークスルー)

  中学生のペルソナを作って、高校生に評価をしてもらい、
  その様子を観察、グループインタビュー、
  デプスインタビュー(師匠と弟子モデル)した。

  ※三角測量することが大事

▼認知的ウォークスルー法
 ウォークスルー→立ち稽古
 認知的→ノーマンが「誰のためのデザイン?」で提示した
 「可視性、よい概念モデル、よい対応づけ、フィードバック」の
 認知心理学の4つの視点に基づく

▼プロトコル分析
 観察者:生理(アイトラッキングなど)・行動データと発話データを収録
 
 行動データだけではなぜ問題につまづいているのか分からないので、
 思考発話法で発話データを分析する。

 ※今はデジタル機器が進化したので、だいぶやりやすくなった。

▼プロトコル分析:書き起し
 ユーザーテストの5倍の時間がかかる。

▼NE比分析
 時間がかかっているというだけで迷っているとは限らない
 (例:フォームの入力などはみんな時間がかかる)

 ExpertとNorviceの差の数値を見る。

 ※NE比分析は毎回やっていると大変なので、
  ユーザーテストからの観察分析(ブレスト・KJ法)を普段行い、
  数回に一回にNE比分析を行う。

▼長期観察
 例:ポラール
   F11スポーツ用心拍数モニター

  調査手法
   ・被験者:10名
   ・レポート(日記形式)
   ・SNS(写真データを含む)
   ・3回のワークショップ
   ・インタビュー、質問紙

   →次の開発に活用

 例:アサヒビール
   1人暮らしの女性をビデオで観察した。
   →ながら飲みする女性向けにアルコール度の低い飲料を開発した。

▼横浜市役所Webサイトリニューアル
 30名の分析を行い、3人のペルソナを作った。
 
▼横須賀市役所Webサイトリニューアル
 β版のプロトコル分析をとことん行うことで、市の開発メンバーの意識改革が行われた。

ワークショップ

 まずはユーザーテストを行うためのタスクと、
 アクティビティシナリオとインタラクションシナリオをチームで考えます。

 事前にサイトを使い込んでいるのである程度のアタリは付けてあったので、
 みんなでブレストしながらポストイットにタスクを書き出していきました。

このとき注意したのは「ユーザビリティの調査」であって「UXの評価」ではないので、
 ユーザーの理想のタスクなどを勝手に考えないことです、
 前回はここで失敗したわけです。

 ブレストして抽出したタスクからユーザビリティに関するものだけ残して、
 UXに関するものは排除し、4つのタスクに絞り込みました。

▼タスク作成
  タスクを作成するには年期がいる、ずるテクとしては、
  先にインタラクションシナリオを作って、
  そこからインタラクション要素を消してアクティビティシナリオを作る、
  そのシナリオを呼んでわからなければタスクの設計が悪い。
  アクティビティシナリオとインタラクションシナリオを作成

▼タスク作成のポイント
  1.開発者目線ではなく、ユーザーのコンテクストで書く
  2.作業ステップを書いて答えにならないように
  3.そのタスクを行うことによって、サイトの代表的な機能を評価出来るか?
  4.そのタスクは最も多くのユーザーが使うであろう機能を網羅しているか?
  5.ユーザー体験よりもユーザビリティを見ているか?

■パイロットテスト
 タスクが出来たので、自分が被験者となってパイロットテストを行い、
 タスクに問題ないか確認し、微調整しました。

■休憩 13:00
 お昼ご飯は駅ビルの「魚がし」へ。
 炭火焼レストランさわやかに行きたかったけど、
 たぶん待ち時間がすごいので、無理っぽいのでやめました。

■ユーザーテスト 14:00
 エキスパート1名、ノービス3名の4名を星野さんがインタビュー、
 それ以外の人は他のチームへ被験者としてインタビューされにいったり、
 観察したり、ビデオを撮ったりと分担して実施。

■書起し 15:30
 みんなで手分けして書起し
 ※撮ったビデオをシェアする機械を準備してないと結構厳しいですね、
  たまたまUSBのハードディスクを持っていたので、
  それでなんとかシェアをしました
  あとイヤホンも必須ですね。

■NE比分析 16:30
 NE比を分析し、
 改善案も手があいている人で付箋にまとめてなんとかプレゼンへ。

■プレゼン、講評 17:00
 分析をしてみてトップページのNE比が高いのが意外でした、
 トップページは下層へのリンクをもれなく掲載しつつ、
 情報設計をちゃんとしないと初めてのユーザーはかなり迷うようです。

■雑感
 昨年のユーザー評価のワークショップで撃沈したわけですが、
 それを受けての今回のワークショップだったので、
 ユーザビリティ評価のタスク設定のポイントが体感出来たので、
 それはそれで良かったのかなぁと・・・

■外部リンク
 ・2013年 UX静岡 #04 ユーザー評価(NE比分析)

 ・memo
 

■懇親会
 懇親会はPARCO屋上のビアガーデンで!

2次会はおでん街

コメント

タイトルとURLをコピーしました