「Exact Fusion of Softmax Attention Heads Can Require Exponentially Many Atoms」をarXivプレプリントとして公開しました．
公開した研究
d個の2要素ヘッドが合計2d要素で表す関数について，任意の固定キー・スカラー値・正の重みを許しても，単一ヘッドでは厳密に2^d要素が必要になることを証明します．全クエリ空間で一様誤差を1/2未満に保つ場合にも，同じ下界が成り立ちます．
論文・公開情報
- 論文
- Exact Fusion of Softmax Attention Heads Can Require Exponentially Many Atoms
- 著者
- Hiroyasu Usami，Keisuke Hara，Ayato Tsuboi，Naohiko Matsuda
- 公開版
- arXiv:2611.02943 [cs.LG]（査読前プレプリント）
- arXiv v1登録日
- 2026-11-02（UTC）