論文の概要: Distinct Computations Emerge From Compositional Curricula in In-Context Learning

• arxiv url: http://arxiv.org/abs/2506.13253v1
• Date: Mon, 16 Jun 2025 08:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.891478
• Title: Distinct Computations Emerge From Compositional Curricula in In-Context Learning
• Title（参考訳）: インテクスト学習における構成カリキュラムからの離散計算
• Authors: Jin Hwa Lee, Andrew K. Lampinen, Aaditya K. Singh, Andrew M. Saxe,
• Abstract要約: コンポジションサブタスクのカリキュラムを文脈で提示することで、トランスフォーマーが学習する計算をどう変えるかを検討する。 サブタスクのカリキュラムで訓練されたモデルは、目に見えない構成タスクに対してゼロショット推論を行うことができることを示す。 これらのモデルには,カリキュラム設計によって変調された多種多様な戦略が採用されている。
• 参考スコア（独自算出の注目度）: 14.14936155458072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) research often considers learning a function in-context through a uniform sample of input-output pairs. Here, we investigate how presenting a compositional subtask curriculum in context may alter the computations a transformer learns. We design a compositional algorithmic task based on the modular exponential-a double exponential task composed of two single exponential subtasks and train transformer models to learn the task in-context. We compare (a) models trained using an in-context curriculum consisting of single exponential subtasks and, (b) models trained directly on the double exponential task without such a curriculum. We show that models trained with a subtask curriculum can perform zero-shot inference on unseen compositional tasks and are more robust given the same context length. We study how the task and subtasks are represented across the two training regimes. We find that the models employ diverse strategies modulated by the specific curriculum design.
• Abstract（参考訳）: インコンテキスト学習(ICL)研究は、入力-出力ペアの均一なサンプルを通して関数のインコンテキストを学習することを考えることが多い。 本稿では、コンポジションサブタスクのカリキュラムを文脈で提示することで、トランスフォーマーが学習する計算をどう変えるかを検討する。 本研究では,2つの指数サブタスクと2つの変圧器モデルからなるモジュール型指数指数型2次指数型タスクに基づく合成アルゴリズムタスクを設計し,そのタスクを文脈内で学習する。 比較 (a)単一の指数的なサブタスクからなる文脈内カリキュラムを用いて訓練されたモデル及び (b)このようなカリキュラムを使わずに、二重指数課題を直接訓練したモデル。 サブタスクのカリキュラムで訓練されたモデルは、目に見えない構成課題に対してゼロショット推論を実行でき、同じ文脈長でより堅牢であることを示す。 課題とサブタスクが2つのトレーニング体制でどのように表現されるかを検討する。 これらのモデルには,カリキュラム設計によって変調された多種多様な戦略が採用されている。

関連論文リスト

• In-context Learning in Presence of Spurious Correlations [8.055478206164105]
  本研究では,突発的特徴を含む分類課題に対して,文脈内学習者を訓練する可能性について検討する。 従来の文脈内学習者の訓練手法は、刺激的な特徴に影響を受けやすいことが判明した。 与えられた分類タスクに対して,そのような学習者を訓練するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:26:36Z)
• Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
  我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。 その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:23:29Z)
• What Can Transformers Learn In-Context? A Case Study of Simple Function Classes [67.06980111346245]
  インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。 我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。 また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
  論文  参考訳（メタデータ） (2022-08-01T18:01:40Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。