論文の概要: Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?

• arxiv url: http://arxiv.org/abs/2610.23051v1
• Date: Fri, 16 Oct 2026 07:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.816864
• Title: Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?
• Title（参考訳）: エージェント・インコンテキスト・ラーニング: トランスフォーマーはクローズド・ループ・インタラクションにおいてどのようなアルゴリズムを学習できるのか?
• Abstract要約: In-context Learning (ICL) の学習アルゴリズムビューを提案する。 我々は、その状態、更新、決定ルールによって学習者を代表し、活発な学習、盗賊、オンライン強化学習(RL)をカバーしている。 トレーニングでは、プロセス報酬の最適化が最終的な成果を最大化する行動を保存するときに特徴付ける。
• 参考スコア（独自算出の注目度）: 34.82368594497859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The learning algorithm view of in-context learning (ICL) studies how fixed-parameter Transformers learn from supplied examples. Language model agents extend this setting through interaction: their actions determine what evidence enters context next. We call this regime Agentic In-Context Learning (Agentic ICL). Existing studies largely depend on externally supplied contexts or reward-bearing interaction histories, while work on general tool-using agents lacks a learning algorithm view. We represent an interactive learner by its state, update, and decision rule, covering active learning, bandits, and online reinforcement learning (RL). For expressivity, we construct causal Transformers that approximate these algorithms over a finite horizon, and bound the resulting loss in return. For training, we characterize when optimizing process rewards preserves behavior that maximizes the final outcome. Distillation experiments show that Transformers can learn to execute three representative recursions. We then train models from outcome or process rewards without oracle action or state targets, as in RL post-training. Different rewards yield distinct decision policies. Improving the alignment of process supervision with outcome-optimal action preferences shifts learned decisions accordingly. Such behavioral differences persist in a pretrained language model across textual paraphrases.
• Abstract（参考訳）: In-context Learning (ICL) の学習アルゴリズムビューは、固定パラメータ変換器が供給された例からどのように学習するかを研究する。 言語モデルエージェントは相互作用を通じてこの設定を拡張します。 我々はこの体制をエージェント・インコンテキスト・ラーニング (Agentic ICL) と呼ぶ。 既存の研究は、外部から供給されたコンテキストや報酬を伴うインタラクション履歴に大きく依存しているが、一般的なツール利用エージェントの研究には学習アルゴリズムの視点が欠けている。 我々は、その状態、更新、決定ルールによってインタラクティブな学習者を表し、アクティブな学習、盗賊、オンライン強化学習(RL)をカバーしている。 表現性のために、これらのアルゴリズムを有限地平線上で近似する因果変換器を構築し、その結果の損失を返却する。 トレーニングでは、プロセス報酬の最適化が最終的な成果を最大化する行動を保存するときに特徴付ける。 蒸留実験により、トランスフォーマーは3つの代表的な再帰を実行することができることが示された。 次に、RLポストトレーニングのように、オラクルアクションやステートターゲットなしで、結果やプロセスの報酬からモデルをトレーニングします。 異なる報酬は、異なる決定ポリシーをもたらす。 プロセスの監督と結果最適化の行動選好の整合性を改善することは、学習した決定をそれに応じてシフトさせる。 このような行動の違いは、テキストパラフレーズ間の事前訓練された言語モデルに持続する。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Vintix: Action Model via In-Context Reinforcement Learning [78.11130335098936]
  In-context reinforcement learning を通じて振る舞いを学習できる固定されたクロスドメインモデルを導入することで ICRL のスケールアップに向けた第一歩を提示する。 ICRLを促進するために設計されたフレームワークであるアルゴリズム蒸留は、多目的な作用モデルを構築するために、専門家蒸留に代わる魅力的な、競争力のある代替手段を提供することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:57:08Z)
• Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する,新しい値に基づく強化学習アルゴリズムを提案する。 実験により、CQN-ASは、様々なスパース逆ヒューマノイド制御およびテーブルトップ操作タスクにおいて、いくつかのベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining [25.669038513039357]
  本稿では,テキスト内強化学習のための教師付き事前学習を理論的に分析する枠組みを提案する。 ReLUに着目した変換器は、最適に近いオンライン強化学習アルゴリズムを効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T17:55:02Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
  監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。 我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
  論文  参考訳（メタデータ） (2022-10-21T21:59:42Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。