生成AI画像生成データ拡張能動学習評価指標LLM-as-a-JudgeAI評価
画像・テキスト・音声などを生成するAI技術の開発と，
その学習を支援するためのデータ拡張，カリキュラム学習などの手法，
生成物の品質を評価・検証する研究を行っています．
近年は，LLM-as-a-Judgeを評価器・測定器として捉え，評価器そのものの安定性，バイアス，criterion shiftを測る研究にも取り組んでいます．
なぜ難しいか
生成モデルの評価は主観的要素を含み、定量的な品質指標の設計が困難です。
また、生成物の多様性と品質のバランス、学習の安定性、
生成物のバイアスや倫理的問題への対処も課題となります。
研究方針
多角的な評価指標の設計，人間評価との相関分析，
学習効率を向上させるカリキュラム学習や能動学習の導入に取り組んでいます．
また，LLM judgeを単なるスコアリング手段として使うだけでなく，測定器としてのdark current，位置バイアス，目標信号への感度，判定基準の移動を分けて評価するプロトコルを設計しています．
評価の考え方
FID、IS、CLIPスコアなどの定量指標と、
ユーザスタディによる主観評価を組み合わせた多面的な評価を行っています。
現在の問い
- 1生成画像の品質と多様性を両立する評価設計
- 2効率的なアノテーションのための能動学習と生成支援
- 3生成モデルの公平性とバイアスの検証
- 4LLM-as-a-Judgeを測定器として扱う評価プロトコルと信頼性分析