論文の概要: Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning
- arxiv url: http://arxiv.org/abs/2605.05495v1
- Date: Wed, 06 May 2026 22:31:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.437008
- Title: Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning
- Title（参考訳）: 変圧器の連続合成推論に障害のあるショートカット解
- Abstract要約: 連続学習(CL)におけるフィードフォワードおよびリカレントトランスフォーマーモデルの能力について検討する。
標準フィードフォワードトランスモデルであるBERTは,その一般化能力を制限するショートカットソリューションを学習する。
これとは対照的に、BERTの繰り返しバージョンであるALBERTは、forループのようなソリューションを学び、CLのパフォーマンスが向上する。
- 参考スコア（独自算出の注目度）: 2.228330873367779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying and exploiting common features across domains is at the heart of the human ability to make analogies, and is believed to be crucial for the ability to continually learn. To do this successfully, general and flexible computational strategies must be developed. While the extent to which Transformer neural network models can perform compositional reasoning has been the subject of intensive recent investigation, little work has been done to systematically understand how well these models can leverage their representations to learn new, related experiences. To address this gap, we expand the previously developed Learning Equality and Group Operations (LEGO) framework to a continual learning (CL) setting ("continual LEGO"). Using this continual LEGO experimental paradigm, we study the capability of feedforward and recurrent Transformer models to perform CL. We find that BERT, a canonical feedforward Transformer model, learns shortcut solutions that limits its ability to generalize and prevents strong forward transfer to new experiences. In contrast, we find evidence supporting the hypothesis that ALBERT, a recurrent version of BERT, learns a For loop-esque solution, which leads to better CL performance. When applying BERT and ALBERT models to a CL setting that requires composition across experiences, we find that both model families fail. Our investigation suggests that ALBERT models can have their performance drop rescued by use of training strategies that combine data across experiences, but this is not true for BERT models, where a detrimental shortcut solution becomes entrenched with initial training. Our results demonstrate that the recurrent ALBERT model may have an inductive bias better suited for CL and motivate future investigation of the interplay between Transformer architecture and computational solutions that emerge in modern models and tasks.
- Abstract（参考訳）: ドメイン間で共通の特徴を識別し、活用することは、類推を行う人間の能力の中心であり、継続的に学習する能力にとって不可欠であると考えられている。
これを成功させるためには、汎用的で柔軟な計算戦略を開発する必要がある。
トランスフォーマーニューラルネットワークモデルが構成的推論を行うことができる範囲は、近年の集中的な調査の対象となっているが、これらのモデルがどのように表現を活用して、新しい関連する経験を学べるかを体系的に理解するための研究はほとんど行われていない。
このギャップに対処するため、これまで開発されたLearning Equality and Group Operations(LEGO)フレームワークを、継続的学習(CL)設定(Continual LEGO)に拡張しました。
この連続的なLEGO実験パラダイムを用いて、CLのフィードフォワードおよびリカレントトランスフォーマーモデルの性能について検討する。
我々は、標準フィードフォワード変換モデルであるBERTが、その一般化能力を制限するショートカットソリューションを学習し、新しい体験への強力な転送を防止することを発見した。
対照的に、BERTの繰り返しバージョンであるALBERTがforループ型解を学習し、CL性能が向上するという仮説を裏付ける証拠が見つかる。
経験間の合成を必要とするCL設定にBERTとALBERTモデルを適用すると、両方のモデルファミリがフェールすることがわかった。
我々の研究は、ALBERTモデルが、経験にまたがるデータを組み合わせたトレーニング戦略を用いて、パフォーマンス低下を回避できることを示唆しているが、これはBERTモデルには当てはまらない。
この結果から, 再帰型ALBERTモデルには, CLに適した帰納バイアスがあり, 現代のモデルやタスクに現れるトランスフォーマーアーキテクチャと計算解との相互作用について, 今後の研究を動機づける可能性が示唆された。
関連論文リスト
- CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment [35.81483031531396]
大規模言語モデル(LLM)は現代の人工知能の基盤となっている。
本稿では、LCMライフサイクルの第3段階としてデプロイメント時学習(DTL)を定式化する。
本稿では、LCMエージェントに明示的で進化するエピソードメモリを装備するフレームワークであるCASCADEについて述べる。
論文 参考訳（メタデータ） (2026-05-05T12:16:59Z) - SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators [0.4369550829556577]
新たな実験条件やシミュレーション体制は、以前のデータに再アクセスすることなく、外挿やモデル更新を必要とするため、大きく異なる場合がある。
これにより、破滅的な忘れを防ぎながら、分散シフトに適応できる継続的学習(CL)フレームワークの必要性が生まれます。
本稿では,SLE(Single-Layer Extension)とFNO(Fourier Neural Operator)を組み合わせたアーキテクチャベースアプローチ(SLE-FNO)を提案する。
論文 参考訳（メタデータ） (2026-03-20T18:30:38Z) - Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。
我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
論文 参考訳（メタデータ） (2026-03-02T11:40:05Z) - AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。
既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。
本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
論文 参考訳（メタデータ） (2025-04-07T03:31:57Z) - DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning [22.386864304549285]
大規模言語モデル(LLM)では、継続的な学習(CL)が現実の要求に適応するために不可欠である。
近年のリハーサルフリー手法では、モデルベースおよび正規化ベースの戦略を用いてこの問題に対処している。
我々は、$textbfD$e $textbfA$ttention-based $textbfTask $textbfA$daptation ( data)を提案する。
データは、ハイランクなタスクアダプタとローランクなタスクアダプタを使用して、タスク固有の知識とタスク共有の知識を明示的に分離し、学習する。
論文 参考訳（メタデータ） (2025-02-17T06:35:42Z) - Re-examining learning linear functions in context [4.126494564662494]
In-context Learning (ICL) は大規模言語モデル(LLM)を様々なタスクに容易に適応するための強力なパラダイムとして登場した。
合成学習データを用いた制御設定でICLの簡単なモデルについて検討する。
本研究は,線形関数を文脈内で学習するためのアルゴリズム的アプローチをトランスフォーマーが採用する,一般的な物語に挑戦するものである。
論文 参考訳（メタデータ） (2024-11-18T10:58:46Z) - CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。
変分オートエンコーダを用いてクラス条件分布を学習する。
このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:51:28Z) - Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。
本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。
我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
論文 参考訳（メタデータ） (2024-03-28T15:22:29Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T15:52:02Z) - Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。
言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
論文 参考訳（メタデータ） (2023-03-02T05:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。