論文の概要: Iterative Amortized Inference: Unifying In-Context Learning and Learned Optimizers

• arxiv url: http://arxiv.org/abs/2510.11471v1
• Date: Mon, 13 Oct 2025 14:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.407218
• Title: Iterative Amortized Inference: Unifying In-Context Learning and Learned Optimizers
• Title（参考訳）: 反復的補正推論: 文脈学習と学習最適化を統一する
• Authors: Sarthak Mittal, Divyat Mahajan, Guillaume Lajoie, Mohammad Pezeshki,
• Abstract要約: 償却学習は、新しい問題への迅速な一般化を可能にするために、タスク間で共有される計算や帰納的バイアスを再利用する考え方である。 現在のアプローチでは、推論でタスクデータを処理する能力が制限されることが多いため、大規模なデータセットへのスケールアップに苦労している。 ミニバッチよりも解を段階的に洗練するモデルである反復的償却推論を提案する。
• 参考スコア（独自算出の注目度）: 22.72866404096086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern learning systems increasingly rely on amortized learning - the idea of reusing computation or inductive biases shared across tasks to enable rapid generalization to novel problems. This principle spans a range of approaches, including meta-learning, in-context learning, prompt tuning, learned optimizers and more. While motivated by similar goals, these approaches differ in how they encode and leverage task-specific information, often provided as in-context examples. In this work, we propose a unified framework which describes how such methods differ primarily in the aspects of learning they amortize - such as initializations, learned updates, or predictive mappings - and how they incorporate task data at inference. We introduce a taxonomy that categorizes amortized models into parametric, implicit, and explicit regimes, based on whether task adaptation is externalized, internalized, or jointly modeled. Building on this view, we identify a key limitation in current approaches: most methods struggle to scale to large datasets because their capacity to process task data at inference (e.g., context length) is often limited. To address this, we propose iterative amortized inference, a class of models that refine solutions step-by-step over mini-batches, drawing inspiration from stochastic optimization. Our formulation bridges optimization-based meta-learning with forward-pass amortization in models like LLMs, offering a scalable and extensible foundation for general-purpose task adaptation.
• Abstract（参考訳）: 現代の学習システムは、新しい問題への迅速な一般化を可能にするために、計算の再利用やタスク間で共有される帰納的バイアスという考え方にますます依存している。 この原則は、メタラーニング、インコンテキストラーニング、プロンプトチューニング、学習したオプティマイザなど、さまざまなアプローチにまたがっている。 同様の目標に動機付けられるが、これらのアプローチは、しばしばコンテキスト内の例として提供されるタスク固有の情報をエンコードし、活用する方法が異なる。 本研究では,初期化や学習した更新,予測マッピングなどの学習の側面と,推論時にタスクデータを組み込む方法について,これらの手法が主にどのように異なるかを記述する統一的なフレームワークを提案する。 課題適応が外部化されているか、内部化されているか、または共同でモデル化されているかに基づいて、償却されたモデルをパラメトリック、暗黙的、明示的な体制に分類する分類法を導入する。 ほとんどのメソッドは、推論(例えば、コンテキスト長)でタスクデータを処理する能力が制限されるため、大きなデータセットにスケールするのに苦労しています。 そこで本研究では,最小バッチを段階的に改良し,確率的最適化からインスピレーションを得るモデルである反復的償却推論を提案する。 我々の定式化は、LLMのようなモデルにおける前方通過補正による最適化に基づくメタラーニングを橋渡しし、汎用タスク適応のためのスケーラブルで拡張可能な基盤を提供する。

関連論文リスト

• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Information Guided Regularization for Fine-tuning Language Models [11.831883526217942]
  我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。 モデル正規化の改善と下流一般化のための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-06-20T05:18:37Z)
• Probing the Decision Boundaries of In-context Learning in Large Language Models [31.977886254197138]
  本稿では,テキスト内二項分類のための決定境界のレンズからテキスト内学習を探索し,理解するための新しいメカニズムを提案する。 驚いたことに、単純な二項分類タスクにおいて、現在のLLMによって学習される決定境界は、しばしば不規則で非滑らかである。
  論文  参考訳（メタデータ） (2024-06-17T06:00:24Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。