三菱重工業 総合研究所との共同研究「LLM Judges Have Dark Current」の研究コードと検証資料をGitHubで公開しました．arXiv v2に対応する論文と，評価記録・解析コードをまとめています．
公開した資料
改訂版では，評価器が読み取れる判定を返すか，同一の回答に差をつけるか，指定した判定基準で対象を選べるかを，それぞれ分けて調べています．回答が同じときの振る舞いと，回答が異なるときの選択精度を，同じ評価設定の下で対応させる設計です．
リポジトリには，論文PDF，記録済みの判定メタデータ，解析コード，図表の根拠となる資料を収録しています．検証・再現手順では，ファイルの整合性確認，保存済み記録の確認，各研究の再解析を区別し，それぞれの実行方法を案内しています．
研究コードはMIT License，著者が権利を持つ論文・図・説明文・数値記録はCC BY 4.0で公開しています．利用条件と出典はリポジトリ内のLICENSE_SCOPE.mdにまとめています．
論文・公開情報
- 論文
- LLM Judges Have Dark Current: Stratified Null and Utility Tests for LLM Judge Reliability
- 公開版
- arXiv:2606.15610v2（2026年10月13日改訂）
- 共同研究
- 三菱重工業 総合研究所