論文の概要: Evaluating Compositional Generalization in Transformers: The Role of Composition Equivalence and Module Coverage
- arxiv url: http://arxiv.org/abs/2611.13498v2
- Date: Wed, 11 Nov 2026 17:10:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.902741
- Title: Evaluating Compositional Generalization in Transformers: The Role of Composition Equivalence and Module Coverage
- Title(参考訳): 変圧器の構成一般化の評価:構成等価性とモジュール被覆の役割
- Abstract要約: 性能に強く影響を及ぼす列車-テスト分布の2つの重要な側面を,構成等価性とモジュールカバレッジの2つに同定する。
直列モデル(最終的な出力でのみ学習される)の明らかな性能は、合成等価性、すなわち同一の終端関数に還元される異なる加群列を利用することによって得られることを示す。
さらに、モジュールのカバレッジシフトが増加するにつれて、パフォーマンスが単調に低下し、直接モデルとステップバイステップモデルの両方に影響を及ぼすことを示した。
- 参考スコア(独自算出の注目度): 46.0466115670801
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional generalization is an important form of out-of-distribution generalization, defined as the ability to train on some combinations of modules (e.g., functions such as sort, filter) and then generalize to unseen combinations. Despite substantial empirical work evaluating compositional generalization in transformers, findings have been inconsistent because evaluations were often conducted on a limited set of train-test splits, defined in an ad hoc manner. Through a systematic evaluation, we identify two key aspects of the train-test distribution that strongly affect performance: composition equivalence and module coverage. We show that the apparent performance of direct models (trained only on final outputs) results primarily from exploiting composition equivalences, meaning different sequences of modules that reduce to identical end-to-end functions. When benchmarks eliminate these equivalences, performance drops significantly, showing their inability to generalize to compositions of known modules that produce novel end-to-end functions. We further demonstrate that performance degrades monotonically as module coverage shifts increase (when modules appear in different contexts between train and test), affecting both direct and step-by-step models (trained on intermediate and final outputs). These findings have concrete implications for benchmark design: benchmarks that include compositional equivalences can lead to significant overestimation of the generalization abilities of direct models, and benchmarks that include both module coverage violations and compositional equivalences can exacerbate shortcut learning. As a case study, we demonstrate the role of compositional equivalence on the generalization performance of the pre-trained model Llama3-8B on the code-output prediction task in the coding benchmark LiveCodeBench.
- Abstract(参考訳): 構成一般化は分布外一般化の重要な形式であり、加群(例えば、ソートやフィルタのような関数)のいくつかの組み合わせで訓練し、次に目に見えない組合せに一般化する能力として定義される。
変圧器の組成一般化を評価する実験的な研究は多いが, 限定された列車-試験分割に対して, アドホックな方法で評価されることが多かったため, 不整合性が指摘されている。
系統的な評価により,構成等価性とモジュールカバレッジという,性能に強く影響を及ぼす列車-テスト分布の2つの重要な側面を同定する。
直列モデル(最終的な出力でのみ学習される)の明らかな性能は、主に合成等価性、すなわち同一の終端関数に還元される異なる加群列を利用することによって得られることを示す。
ベンチマークがこれらの等価性を排除した場合、性能は大幅に低下し、新しいエンドツーエンド関数を生成する既知のモジュールの合成に一般化できないことを示す。
さらに、モジュールのカバレッジのシフトが増加するにつれて、パフォーマンスが単調に低下し(モジュールが列車とテストの間で異なる状況に現れる場合)、直接モデルとステップバイステップモデルの両方に影響を及ぼすことを示した。
構成等価性を含むベンチマークは、直接モデルの一般化能力を著しく過大評価する可能性があるし、モジュールカバレッジ違反と構成等価性の両方を含むベンチマークは、ショートカット学習を悪化させる可能性がある。
ケーススタディでは,コーディングベンチマークLiveCodeBenchにおけるコード出力予測タスクにおける,事前学習モデルLlama3-8Bの一般化性能に対する構成等価性の役割を示す。
関連論文リスト
- Generalization Is Stability, Not Accuracy: Multi-Axis Evaluation of LLMs [1.24173886880844]
本稿では,個々の例のレベルでの一般化評価,複数入力変種間の一般化評価,モデル行動の異なる側面における一般化評価について述べる。
このフレームワークは,異なるバリエーションとベンチマークで同一入力に対して,モデル動作がどの程度変化するかを測定する。
論文 参考訳(メタデータ) (2026-10-01T10:27:25Z) - Assign and Add: A Mechanistic Study of Compositional Arithmetic [17.098170202572348]
変圧器の構成一般化機構について検討する。
我々は、小変換器が変数と数値の既往の組合せに一般化できることを観察する。
これらの結果から,構成一般化は内部機構の変換器の構成性の自然な帰結である可能性が示唆された。
論文 参考訳(メタデータ) (2026-05-29T16:19:20Z) - Layer Specialization Underlying Compositional Reasoning in Transformers [6.581088182267414]
トランスフォーマーは、トレーニング中に観察されていないシーケンスに関する構成的推論を示す。
確率論的文脈自由文法であるランダム階層モデル(RHM)を用いて,この現象を考察する。
メカニカルには、一般化性能と相関するトレーニング中の層特殊化の進行する出現を同定する。
論文 参考訳(メタデータ) (2025-10-20T12:08:22Z) - The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。
我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。
我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
論文 参考訳(メタデータ) (2025-09-26T17:00:15Z) - The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。
我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
論文 参考訳(メタデータ) (2025-05-26T17:55:15Z) - What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
論文 参考訳(メタデータ) (2024-05-02T20:10:27Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Meta-Learning to Compositionally Generalize [34.656819307701156]
教師あり学習のメタラーニング拡張版を実装した。
既存のトレーニングデータをサブサンプリングすることでメタ学習のためのタスクのペアを構築する。
COGSおよびSCANデータセットの実験結果から、類似性駆動型メタラーニングにより一般化性能が向上することが示された。
論文 参考訳(メタデータ) (2021-06-08T11:21:48Z) - Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。
合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
論文 参考訳(メタデータ) (2020-10-12T12:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。