論文の概要: A Unified Framework for In-Context Learning with Causal and Masked Language Models

• arxiv url: http://arxiv.org/abs/2607.04081v1
• Date: Sun, 05 Jul 2026 02:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.824953
• Title: A Unified Framework for In-Context Learning with Causal and Masked Language Models
• Title（参考訳）: 因果的・仮面的言語モデルを用いたインテクスト学習のための統一フレームワーク
• Authors: Chenrui Liu, Chuanlong Xie, Falong Tan, Yicheng Zeng, Lixing Zhu,
• Abstract要約: In-context Learning (ICL) は、事前訓練された言語モデルの中枢機能として登場した。 マスク付き言語モデルは、双方向のコンテキストからマスク付きトークンを復元する。 ICLの振る舞いは因果言語モデルに特有ではない。
• 参考スコア（独自算出の注目度）: 9.893068784551879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has emerged as a central capability of pretrained language models, yet its theoretical analysis has focused primarily on causal language models trained by left-to-right autoregressive prediction, such as GPT-style models. Masked language models instead recover masked tokens from bidirectional context, and their role in ICL remains less understood. We develop a statistical learning framework that represents the context examples by their empirical measure and models prediction as a function of the context and the query. This formulation places autoregressive and masked pretraining objectives within a common excess-risk analysis. Under Wasserstein-type regularity conditions, we relate pretraining with T tasks and N samples per task to k-shot excess risk at inference, obtaining same-order upper bounds for masked and autoregressive objectives. We also study task-distribution shift, where pretraining tasks are sampled from P and inference tasks from Q; the resulting bound contains an additional term controlled by the lifted Wasserstein distance between P and Q. The bounds further imply an order-optimal allocation under a fixed pretraining data budget and refined rates under intrinsic low-dimensional structure. Experiments on controlled function-learning tasks show that the Masked Pair Encoder (MPE) can achieve performance comparable to GPT-2-style causal Transformers, suggesting that ICL behavior is not specific to causal language models.
• Abstract（参考訳）: In-context Learning (ICL) は、事前訓練された言語モデルの中枢機能として登場したが、理論解析は主に、GPTスタイルのモデルのような左から右への自己回帰予測によって訓練された因果言語モデルに焦点を当てている。 マスク付き言語モデルは、双方向のコンテキストからマスク付きトークンを復元する代わりに、ICLにおけるそれらの役割は理解されていない。 本研究では,文脈の例を経験的尺度で表現し,文脈と問合せの関数としてモデル予測を行う統計的学習フレームワークを開発する。 この定式化は、共通の過剰リスク分析の中に自己回帰的およびマスク付き事前訓練対象を配置する。 ワッサーシュタイン型正規性条件下では、タスク毎のTタスクとNサンプルの事前訓練と、推論時の過大なリスクをkショットし、マスクと自己回帰の目的に対する同階上界を得る。 また, P からプレトレーニングタスクをサンプリングし, Q から推論タスクを抽出するタスク分配シフトについて検討し, 結果のバウンダリには, P から Q までの昇降ワッサーシュタイン距離によって制御される追加用語が含まれ, さらに, 固定された事前トレーニングデータ予算の下でのオーダー最適割り当て, 内在的な低次元構造下での洗練率についても検討する。 制御された関数学習タスクの実験は、MPE(Masked Pair Encoder)がGPT-2スタイルの因果変換器に匹敵する性能を達成できることを示し、ICLの振る舞いが因果言語モデルに固有のものではないことを示唆している。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity [6.285055089721361]
  モデルが言語学的に関係のある手がかりに依存しているかどうかをテストするために,トークンレベルの難易度に基づく基本的解釈可能性フレームワークを導入する。 本手法は,不安定な特徴帰属技術に頼ることなく,正確な仮説駆動解析を可能にする。
  論文  参考訳（メタデータ） (2026-03-31T08:00:55Z)
• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
  テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。 KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。 WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-10T17:45:42Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
  大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。 ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。 公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
  論文  参考訳（メタデータ） (2025-06-11T06:30:28Z)
• CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
  プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。 CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。 CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
  論文  参考訳（メタデータ） (2025-05-01T08:27:14Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。