→ / クリック: 次へ ← : 戻る F: 全画面
情報数理工学プログラム(MI)
宇都研究室
ベイズ統計・確率論を基礎にした
人工知能・機械学習・自然言語処理・深層学習の研究室
応用領域教育・心理測定行動計量情報システム

研究室の概要

現実の問題
社会的に必要なもの
→
数理モデル
アルゴリズムを考案
→
実装
プログラムにする
→
実データで評価
有効性を確かめる
ベイズ統計と確率論を基礎に、AI・機械学習・言語処理を研究
  • 理論と応用の両面から研究する
  • 社会的な必要性の高い現実の問題を対象に、数理モデルやアルゴリズムを考案・実装する
  • 実際のデータで有効性を評価する(入試、医学教育の実技試験、記述式試験、面接など)
  • 教育評価のデータを中心に、教育・心理測定の課題に取り組む
キーワード
数理モデル 潜在変数モデル、項目反応理論、トピックモデル、深層学習モデル、時系列モデル、階層ベイズモデル
推定手法 マルコフ連鎖モンテカルロ法、数値最適化
応用分野 教育評価、行動計量、情報システム
人工知能機械学習統計的自然言語処理教育・心理測定教育データマイニング

研究の問い

人が担う評価を、統計や人工知能を使って,どのように信頼でき、解釈できるものにするか
  • 評価者を含む測定データでは、受験者の能力、課題の特性、評価者の特性、評価の観点、採点の時点が互いに絡み合う
  • これらを測定モデルの中に明示的に入れ、教育評価の公平性、精度、解釈可能性を高めてきた
  • 2019年から記述式の自動採点と深層学習へ、2023年からは生成AIによって自動作問、難易度の制御、仮想受験者、仮想模擬患者へと対象が広がった
  • それでも問いは変わらない。AIで評価を効率化するだけでなく、測りたい構成概念と得点尺度を明示し、妥当性と信頼性を保つ
受験者の能力課題の特性評価者の特性評価の観点採点の時点観測された得点

研究室の4大テーマと共通の問い

人が担う評価を、 統計とAIで 信頼できるものに
1 評価者のバイアスを除く数理モデル
2 AIによる自動採点技術
3 問題の自動生成と品質評価
4 医療面接など評価の現場へ
土台 ベイズ統計・項目反応理論 × 深層学習・大規模言語モデル
入試医学教育面接教育・人材分野の企業との共同研究
基礎

項目反応理論(IRT):テーマ横断的に使う理論

テストの得点データから、項目の特性(難しさなど)と受験者の能力を、別々のパラメータとして推定する統計的なテスト理論
P(uij=1∣θj)=11+exp{−αi(θj−βi)}
θj
受験者 j の能力
βi
項目 i の困難度(難しさ)
αi
項目 i の識別力
素点と違い、どの問題を解いたかによらない能力の値が得られる。TOEFL、ITパスポート、医学の共用試験などで実用化されている
能力 θ10正答確率-202やさしい項目むずかしい項目識別力が高い項目
項目特性曲線:能力が上がるほど正答確率が上がる。困難度は曲線の位置、識別力は傾き
研究の軸 1|評価者のバイアスを除く数理モデル

研究室の4大テーマと共通の問い

人が担う評価を、 統計とAIで 信頼できるものに
これから話します1 評価者のバイアスを除く数理モデル
このあと2 AIによる自動採点技術
このあと3 問題の自動生成と品質評価
このあと4 医療面接など評価の現場へ
土台 ベイズ統計・項目反応理論 × 深層学習・大規模言語モデル
入試医学教育面接教育・人材分野の企業との共同研究
研究の軸 1|評価者のバイアスを除く数理モデル

人が採点すると、誰が採点したかで点が変わる

人間が人やモノを採点するとき、同じ評価対象物でも、採点者の厳しさや癖によって点が変わりうる
評価対象物 同じ評価対象物 採点者A 採点者B 採点者C 2点 4点 5点
人が評価する場面は、どこにでもある
記述式の試験
面接
医学部の実技試験
9.5
採点競技
商品のレビュー
入試
評価者の“癖”を、数理モデルで取り除く
研究の軸 1|評価者のバイアスを除く数理モデル

評価者の特性を、数式に組み込む

P(xijr=k)= exp∑m=1k αiαr(θj−βi−βr−drm) ∑l=1Kexp∑m=1l αiαr(θj−βi−βr−drm)
θ 受験者の能力(知りたいもの)
αr, βr, drm 評価者の一貫性・厳しさ・点の付け方
αi, βi 課題の識別力・難しさ
同じ評価対象物への点は…
評価者の影響を取り除くと
2点3.5
採点者A
厳しい
5点3.5
採点者C
甘い
同じ評価対象物なら、
誰が採点しても
同じ値にそろう。
→ 同じものさしで比べられる
・認知科学や心理学の知見を活用して、多様なバイアスを除去するモデルを多数開発
Behaviormetrika 2020Behavior Research Methods 2023AIED 2026
・医学部の大規模試験などでの実用化も進む
PLOS ONE 2024
・多数の学術的な賞も受賞
日本行動計量学会 優秀賞(林知己夫賞)日本テスト学会 大会発表賞
研究の軸 1|評価者のバイアスを除く数理モデル

ルーブリックのための多次元モデル

受験者の複数の能力ルーブリックの観点評価者の影響 内容を捉える力 θ₁表現する力 θ₂内容構成表現厳しさ εᵣ ・ 一貫性 αᵣ能力と評価者の癖を分けて推定する 線の太さ=能力への重み αcl(能力名と重みは説明用の例)

複数の能力を、観点ごとの重みで組み合わせる

Pcjrk=Pcjrk*−Pcjr(k+1)*
Pcjrk*=[1+exp{−αr(∑l=1Lαclθjl−βck−εr)}]−1
θjl
受験者 j の l 次元目の能力
αcl
評価項目 c の l 次元目の識別力(能力への重み)
βck
評価項目 c で得点 k を得る困難度
αr, εr
評価者 r の一貫性と厳しさ

多次元の一般化多相ラッシュモデル

一つの総合点でなく、
複数の能力の組として受験者を捉える。

評価者の一貫性・厳しさ・範囲の制約と、観点の特性を分けて扱い、観点ごとの能力を推定する。

電子情報通信学会論文誌D 2019AIED 2021Behaviormetrika 2021
八木・宇都 (2019) 電子情報通信学会論文誌D/Uto (2021) Behaviormetrika, AIED
研究の軸 1|評価者のバイアスを除く数理モデル

評価者ドリフト:厳しさの時間変化

序盤 t = 1同じ評価者 r4点厳しさ:低い厳しくなる中盤 t = 2同じ評価者 r3点厳しさ:変化厳しくなる終盤 t = 3同じ評価者 r2点厳しさ:高い同じ評価対象物でも、採点時期によって点が変わることがある(説明用の例)

評価者の厳しさ βrt を、時点ごとに持つ

P(xjrt=k)=exp∑m=1k(θj−βrt−drm)∑l=1Kexp∑m=1l(θj−βrt−drm)
βr1∼N(0,1),βrt∼N(βr,t−1,σr),σr∼LN(μσ,1)

現在の厳しさを、一つ前の時点の厳しさから推定する。
σr が、評価者ごとの変化の大きさを表す。

変化をつないで推定する階層ベイズ

厳しさの時間変化をマルコフ連鎖として表す。変化の方向や大きさは、評価者によって異なる。

時点ごとに独立なモデルより、少ないデータでも安定して推定できる。

Behavior Research Methods 2023教育システム情報学会 優秀発表賞 2022
Uto (2023) A Bayesian many-facet Rasch model with Markov modeling for rater severity drift. Behavior Research Methods.
研究の軸 1|評価者のバイアスを除く数理モデル

ハロー効果を扱うモデル

観点ごとに分けて評価一つの印象が、ほかの観点にも波及内容構成表現論理内容構成表現論理「表現が良い」なら、ほかも良いはず…同じ評価対象物に対する評点の模式図。特定の観点の印象で、観点間の違いが見えにくくなる。

受験者側と評価者側の、ハロー効果の起こしにくさを表す

Pijrk=exp∑m=1k[θj−βr−yjyrdim−(1−yjyr)dm]∑l=1Kexp∑m=1l[θj−βr−yjyrdim−(1−yjyr)dm]
yj, yr∈[0,1]
受験者・評価者がハロー効果を起こしにくい度合い
dim
項目ごとの得点の付け方
dm
全項目に共通の付け方

項目ごとの尺度と、共通の尺度をつなぐ

yjyr ≈ 0 → 共通の尺度 dmどちらかが強く起こすと、項目の区別が弱くなる
yjyr ≈ 1 → 項目ごとの尺度 dimどちらも起こさないと、観点を分けて採点できる
AIED 2026(フルペーパー)
電子情報通信学会論文誌D(印刷中)
教育工学研究会 優秀研究賞
Uto, Kitakaze (2026) An item response theory model for addressing halo effects in performance assessment. AIED.
研究の軸 2|AIによる自動採点技術

研究室の4大テーマと共通の問い

人が担う評価を、 統計とAIで 信頼できるものに
紹介済み1 評価者のバイアスを除く数理モデル
これから話します2 AIによる自動採点技術
このあと3 問題の自動生成と品質評価
このあと4 医療面接など評価の現場へ
土台 ベイズ統計・項目反応理論 × 深層学習・大規模言語モデル
入試医学教育面接教育・人材分野の企業との共同研究
研究の軸 2|AIによる自動採点技術

自動採点:AIが記述式答案やレポートを自動採点する技術

小論文・記述式の答案 深層学習・大規模言語モデル 4 得点
多様な技術を開発し、世界最高精度を更新してきた
小論文の自動採点
深層学習に、人が設計した特徴も組み込む
COLING 2020
短答式の自動採点
他の解答から受験者の力も手がかりにする
AIED 2020ICALT 2023
観点別の自動採点
ルーブリックの観点ごとに得点を予測
COLING 2022
論理構造を読む採点
論理の組み立てを推定して採点に使う
AIED 2023
新しい問題にも対応
他の問題の採点データを強化学習で活用
IEEE Access 2025
大規模言語モデルで採点
採点済みデータなしで採点(ゼロショット)
AIED 2026
研究の軸 2|AIによる自動採点技術

自動採点の研究例 1/4

論理構造の活用

根拠 1根拠 2主張意味 + 構造採点に使う

文章の主張と根拠の関係から、
論理構造を数値ベクトルに縮約する。
文章の意味の表現と組み合わせて採点する。

AIED 2023人工知能学会 全国大会優秀賞 2023

採点の確信度を推定

得点 +確信度確信度が高い確信度が低いAIの採点を使う人が確認する

得点とともに、採点の確信度を推定する。
確信度の低い答案だけを人が確認するなど、
人とAIの協力につなげる。

AIED 2024日本テスト学会誌 2024
研究の軸 2|AIによる自動採点技術

自動採点の研究例 2/4

問題横断型の自動採点

他の問題の採点データ
↓
強化学習で、データの価値を推定
↓
役立つデータを選び、新しい問題を採点

他の問題のデータで、採点モデルを作る。
強化学習で新しい問題に役立つデータを選び、
問題ごとに採点データが要る課題に取り組む。

EvalLAC 2024IEEE Access 2025電子情報通信学会論文誌D 2025

大規模言語モデルによる採点

対象の問題の答案採点ラベルなし継続事前学習ゼロショット採点を改善提案書 A と BLLMが一対比較比較を集め、得点を推定ブラッドリー・テリーモデル

対象の答案だけで、LLMを継続事前学習する。
採点ラベルを使わず、ゼロショット採点を改善。
研究提案書では、一対比較から得点を推定する。

AIED 2026IALP 2025
研究の軸 2|AIによる自動採点技術

自動採点の研究例 3/4

人の採点のゆがみを除いて学習

複数の人の採点データ
↓
項目反応理論で、評価者の影響を補正
↓
補正した能力値を目標に、AIを学習

人の採点の癖は、AIの学習にも移ってしまう。
IRTで評価者の影響を除いた能力値を推定し、
それを目標としてAIを学習する。

AIED 2020 Best paper runner-upIEEE TLT 2021

複数のAI採点をIRTで統合

AI 1AI 2AI 3IRT得点

特徴の異なるAIを評価者と見なし、
モデルごとの癖を考慮して一つの得点にまとめる。
単一モデルや単純平均より高い精度につなげる。

IEEE TLT 2023人工知能学会 全国大会優秀賞 2021
研究の軸 2|AIによる自動採点技術

自動採点の研究例 4/4

観点別自動採点と多次元IRT

答案深層学習多次元の能力θ₁, θ₂, …IRT内容構成表現論理

深層学習の出力層に多次元IRTを組み込み、
ルーブリックの観点別得点を同時に予測する。
観点ごとの識別力や困難度も解釈できる。

COLING 2022電子情報通信学会論文誌D 2023

AIの採点精度の上限を導く

上限QWK人の採点との一致度

正解として使う人の得点にも、誤差がある。
そのため、AIとの一致度には上限が生じる。
古典的テスト理論から、QWKの上限を導く。

AIED 2026人工知能学会 全国大会優秀賞 2026
研究の軸 3|問題の自動生成と品質評価

研究室の4大テーマと共通の問い

人が担う評価を、 統計とAIで 信頼できるものに
紹介済み1 評価者のバイアスを除く数理モデル
紹介済み2 AIによる自動採点技術
これから話します3 問題の自動生成と品質評価
このあと4 医療面接など評価の現場へ
土台 ベイズ統計・項目反応理論 × 深層学習・大規模言語モデル
入試医学教育面接教育・人材分野の企業との共同研究
研究の軸 3|問題の自動生成と品質評価

問題の自動生成:AIが文章から問題を作る

テキスト 大規模言語モデル
問1 筆者が訪れた町はどこか。
問2 筆者が町の変化に驚いたのはなぜか。
問3 本文から読み取れる筆者の主張を説明せよ。
生成される問題のイメージ
大規模言語モデルの登場で、文章に合った問題を流暢に作れるようになった
研究の軸 3|問題の自動生成と品質評価

特徴:難易度を指定して、学習者に合った問題を作る

テキスト 大規模言語モデル × 項目反応理論 難易度を指定 やさしい むずかしい 難易度と学習者の能力を、同じものさしで扱う
やさしい
筆者が訪れた町はどこか。
ふつう
筆者が町の変化に驚いたのはなぜか。
むずかしい
本文全体から読み取れる筆者の主張を説明せよ。
生成される問題のイメージ
主な成果 問題と答えの同時生成、多肢選択式の生成、誤答選択肢の生成、選好学習(DPO)による難易度の精密な制御
BEA 2023(ACL 併設)IEEE TLT 2024AIED 2024ICCE 2025IEEE Access 2026電子情報通信学会 論文賞言語処理学会 優秀賞
研究の軸 3|問題の自動生成と品質評価

IRTで難易度を定義し、DPOで制御を精密にする

難易度を付けるAIの正誤をIRTで分析
→
難易度を条件に生成困難度 b を入力する
→
DPOで調整指定難易度に近づける
→
学習者に出題能力 θ に合う問題

IRTで難易度を定義する

P(正答∣θj,bi)=11+exp{−(θj−bi)}

多数の質問応答システムに問題を解かせ、正誤から困難度 bi を推定する。

困難度を入力条件に加え、生成モデルを学習する。

能力 θj と困難度が同じものさしにあるので、学習者が正答率○%で解ける問題を指定できる。

BEA 2023(ACL 併設)電子情報通信学会論文誌D 2024電子情報通信学会 論文賞人工知能学会 研究会優秀賞 2023

DPOで、指定した難易度に近づける

難易度に近い問題と遠い問題のペアから、
LLMを直接調整する。

yw:好ましい指定した難易度に近い問題
yl:好ましくない指定した難易度から遠い問題
ℒDPO=−𝔼[logσ(βlogπθ(yw∣x)πref(yw∣x)−βlogπθ(yl∣x)πref(yl∣x))]
πθ:学習するモデル / πref:元のモデル

報酬モデルを別に作らず、好ましい出力を選びやすくする。

IEEE Access 2026言語処理学会 優秀賞ALST研究会 若手奨励賞
Uto, Tomikawa, Suzuki (2023) BEA/富川・鈴木・宇都 (2024) 電子情報通信学会論文誌D/Tomikawa, Uto (2026) IEEE Access.
研究の軸 3|問題の自動生成と品質評価

誤答選択肢:学習者のつまずきを映す

問:筆者が町の変化に驚いたのはなぜか。
A町に新しい図書館ができたから
B子どもの頃の町並みが残っていなかったから正答
C町の人口が増えていたから本文の別の箇所を読み違える
D筆者が町を初めて訪れたから前提を取り違える
生成される問題と、誤答選択肢がねらう誤り方のイメージ
作問の専門家の方略を与える
良い誤答選択肢を作るのは難しい。問題作成の専門家が使う誤答の作成方略をLLMに明示的に与えて、誤答選択肢を生成する
ICCE 2025教育システム情報学会 学生研究発表会 優秀発表賞
学習者の誤概念を手がかりに
学習者がどう誤解するかをLLMに示すと、妥当な多肢選択式問題を生成できる(国際共同研究)。文単位の主張を選択肢とする分析的な問題も扱う
AIED 2025 Best LBR Paper AwardIEEE Access 2026
研究の軸 3|問題の自動生成と品質評価

作って終わりにしない:問題の質まで評価する

IRT 項目反応理論 作る 解く 評価
難易度を指定して、問題を生成
IEEE TLT 2024IEEE Access 2026
AIの「仮想受験者」が解いて、
難しさを予測
EvalLAC 2024
学習者のつまずきを反映した、
妥当な問題かを確かめる
AIED 2025 Best LBR PaperIEEE Access 2026
LLMで問題は作れる時代。いま問うのは「その問題は、良い問題か」
研究の軸 3|問題の自動生成と品質評価

仮想受験者で、問題の難しさを予測する

能力×××能力○××能力○○×能力○○×能力○○○問題1問題2問題3IRT問題1問題2問題3推定した難しさ
出題する前に難しさを知りたい
ふつうは多くの受験者に解いてもらうか、難易度の分かった問題を大量に集めて予測モデルを学習する必要がある
AIに解かせる
能力の異なる仮想受験者(質問応答システム)に問題を解かせ、その正誤をIRTで分析して難しさを予測する
問題仮想受験者能力の異なるAI正誤データIRT困難度を推定
生成した問題の質を確かめる「評価」の道具にもなる(軸3の後半)
EvalLAC 2024
Uto, Suzuki, Tomikawa (2024) Question difficulty prediction based on virtual test-takers and item response theory. EvalLAC.
研究の軸 4|医療面接など評価の現場へ

研究室の4大テーマと共通の問い

人が担う評価を、 統計とAIで 信頼できるものに
紹介済み1 評価者のバイアスを除く数理モデル
紹介済み2 AIによる自動採点技術
紹介済み3 問題の自動生成と品質評価
これから話します4 医療面接など評価の現場へ
土台 ベイズ統計・項目反応理論 × 深層学習・大規模言語モデル
入試医学教育面接教育・人材分野の企業との共同研究
研究の軸 4|医療面接など評価の現場へ

医療面接の試験を、AIで再現する

OSCE(客観的臨床能力試験)
医学部の実技試験
白衣の医学生と模擬患者が向かい合い、その間で評価者が評価表を記入しているイメージ
どうされましたか?
お腹が痛くて…
医学生模擬患者評価者
医学生が模擬患者に問診し、評価者が評価表で採点する
模擬患者の確保と訓練には、大きな手間と費用がかかる
LLMによる仮想模擬患者
シナリオ
症状・経過・背景
→
大規模言語モデル
患者を演じる
医学生がモニターに映るAIの仮想模擬患者に話しかけているイメージ
今日はどうされましたか?
医学生
3日前から、お腹が痛いんです。
AIの患者
いつでも練習できるどんなシナリオにも対応AIED 2024
研究の軸 4|医療面接など評価の現場へ

仮想患者を改善し、評価までつなげる

一つの質問に患者役AIが大量の情報を話し続け、医師役学生と評価者が困惑している
❌ 過剰な開示は評価の目的に合わない。

本研究室の解決策

余計な答えを
検出して直す

AIED 2024

自分で答えを
見直す

AIED 2025IEICE 2026

好ましい答え方を
学習(DPO)

AIED 2026人工知能学会論文誌
評価までつなげる
実際のOSCEのデータで、
評価者と評価項目の影響を分析
東京医科歯科大学の実データ
PLOS ONE 2024
面接の動画から、観点ごとの得点を自動で予測
ICCE 2025
医療系大学間共用試験実施評価機構の委員として、全国の医療系大学の試験の信頼性向上とAI活用にも関わる
研究の軸 4|医療面接など評価の現場へ

面接動画の観点別自動評価

学生がカメラに向かって話し、面接動画を記録する架空の場面

対人スキルを測る面接試験の動画から、映像・音声・話の内容を使い、観点ごとの得点をAIで予測する。

特徴量を一方だけ使う、観点を別々に予測する、といった従来手法の限界に取り組む。

3種類の情報を組み合わせる

映像表情・動き
音声声の特徴
話の内容テキスト
↓
観点ごとの得点を、同時に予測
  • 人が設計した特徴量と、ニューラルの特徴量を組み合わせる
  • 注意機構(trait-attention)で、観点の間の関係も捉える
ICCE 2025教育システム情報学会 学生研究発表会 優秀発表賞産学連携奨励賞
Kitajima, Uto (2025) Multimodal trait scoring for video interviews using neural models with handcrafted features and trait-attention. ICCE.
05|そのほかの研究

そのほかの研究①:文章を書く・学び合う

学生が文章の構成や推敲について話し合う架空の場面
構成を考える文章の組み立て
論証を磨く主張と根拠
学び合う他者からの学び

論文の構成を支援する

優れた論文の構成を学習し、ベイズ符号を使って、論文の構成づくりを支援する。

電子情報通信学会論文誌D 2011/目黒会賞 2011

論証の推敲を支援する

トゥールミンモデルをベイジアンネットワークで表し、論証の強さや改善のための助言を求める。

電子情報通信学会論文誌D 2013/ICALT 2015

文章の論理構造を取り出す

主張や根拠の役割と、文どうしの関係を自動で推定する。自動採点やライティング支援につなげる。

行動計量学会・人工知能学会・言語処理学会 2018

学び合いを促す

eポートフォリオやSNS、メッセージの推薦を使い、他者からの学びや学習の動機づけを支援する。

日本教育工学会論文誌・IADIS 2011/SNS推薦 2018
05|そのほかの研究

そのほかの研究②:学習と能力を、確率モデルで捉える

回答の速さ連続反応と回答時間
文章の主題トピックモデル
評点と文章項目反応トピックモデル
過程の変化隠れマルコフモデル

回答時間も使う能力の測定

プログラミング試験のテストケースの通過率(0〜1の連続値)と回答時間を統合したIRTモデル。

人工知能学会論文誌 2026/情報処理学会 全国大会 学生奨励賞

トピックモデルでレポートを推薦

文書を複数のトピックの混ざりとして表す。主題は近く、構成や表現が異なるレポートを選んで推薦する。

レポートの推薦に関する研究 2017

項目反応トピックモデル

評価者の効果を持つIRTとトピックモデルを統合し、評点と答案の文章の両方から能力を推定する。

AIED 2019/人工知能学会 研究会優秀賞 2019

執筆と学習の過程を捉える

隠れマルコフモデルで打鍵ログから執筆の段階を推定する。隠れマルコフIRTでは学習による能力の変化を捉える。

International Journal of AIED 2020/電子情報通信学会論文誌D 2019

研究室の成果と学生の活躍

66
件の受賞
指導学生の受賞を含む
100
本の査読付き論文
論文誌48・国際会議52
学生たちが机を囲んで、ノートパソコンやグラフを見ながら研究について話し合うイメージ
科研費(研究代表者)
8件
配分額の累計
8,353万円
学生の活躍
学部4年
学会で発表し、賞も受ける
学生研究発表会の優秀発表賞を、毎年のように受賞
修士
国際会議・論文誌へ
AIED、ICCE、IEEE Access、電子情報通信学会論文誌 など
博士
博士課程へ進学し、修了する先輩も
就職
日本マイクロソフト、日立製作所、LINEヤフー、
野村総合研究所、アクセンチュア、ベネッセ など
学会の旅費は研究室が負担。
多くの学生が、学会に行くことを目標に
出典:研究室ウェブサイト 研究成果・受賞・外部資金(2026年10月22日確認)
4色のガラスの曲線が一つの透明な焦点につながる抽象的なイメージ
まとめ

人が担う評価を、
数理とAIで、
より確かなものに。

評価者のモデル自動採点問題生成医療・面接

興味があれば、宇都までご連絡ください。

uto[at]ai.lab.uec.ac.jp