論文の概要: Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning
- arxiv url: http://arxiv.org/abs/2605.09009v1
- Date: Sat, 09 May 2026 15:49:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.017208
- Title: Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning
- Title（参考訳）: 逐次意思決定のための大規模言語モデル:教師付き微調整による文脈学習の改善
- Abstract要約: 本稿では,大規模言語モデル(LLM)の逐次決定設定におけるICL機能について検討する。
LLMを微調整して、オフラインのオラクルラベルの軌道から直接、数ショットの意思決定を行う。
我々のフレームワークは、教師付き微調整によるポリシーのフレキシブルな模倣を可能にする。
- 参考スコア（独自算出の注目度）: 0.7340845393655052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities, yet their potential for sequential decision-making remains underexplored. In this paper, we study the ICL capabilities of LLMs in sequential decision-making settings, including Markov Decision Processes (MDPs), Partially Observable MDPs (POMDPs), and Ambiguous POMDPs (APOMDPs). We fine-tune pretrained LLMs to perform few-shot decision-making directly from offline, oracle-labeled trajectories. Our framework enables flexible imitation of policies through supervised fine-tuning (SFT). Theoretically, we focus on linear MDPs and interpret a fine-tuned attention layer as implicitly estimating optimal Q-functions from in-context data. Building on this interpretation, we derive an end-to-end suboptimality bound for the induced policy that separates the in-context estimation error from the training-length bias. Empirically, across synthetic MDP, POMDP, and APOMDP settings, we find that fine-tuned LLMs achieve substantially smaller optimality gaps than in-context-only and random baselines, with especially large gains in longer-horizon, partially observed, and model-ambiguous environments. Together, these results show that supervised fine-tuning provides an effective route to endowing pretrained LLMs with sequential decision-making capabilities from offline data, which is an important advantage in domains such as healthcare where offline data are abundant.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、目覚ましい文脈内学習(ICL)の能力を示しているが、逐次的な意思決定の可能性はいまだ探索されていない。
本稿では、マルコフ決定過程(MDP)、部分観測可能なMDP(POMDP)、曖昧なPOMDP(APOMDP)など、連続的な意思決定環境におけるLCMのICL能力について検討する。
LLMを微調整して、オフラインのオラクルラベルの軌道から直接、数ショットの意思決定を行う。
我々のフレームワークは、教師付き微調整(SFT)によるポリシーのフレキシブルな模倣を可能にする。
理論的には、線形MDPに焦点をあて、微調整された注意層を、コンテキスト内データから最適Q関数を暗黙的に推定するものとして解釈する。
この解釈に基づいて、トレーニング長バイアスからコンテキスト内推定誤差を分離する誘導ポリシーに対して、エンド・ツー・エンドの最適条件を導出する。
経験的に, 合成MDP, POMDP, APOMDP設定において, 微調整LDMは, テキスト内およびランダムベースラインよりも, はるかに小さな最適性ギャップを達成できることがわかった。
これらの結果から, 教師付き微調整は, オフラインデータからの逐次的意思決定能力を備えた事前学習型LSMの実現に有効な経路であることが示唆された。
関連論文リスト
- Goal-Conditioned Supervised Learning for LLM Fine-Tuning [10.43951412455864]
大規模言語モデルのためのオフライン微調整フレームワークとして,目標条件付き教師あり学習を提案する。
私たちの中核的な考え方は、フィードバック信号を直接明示的な目標として扱い、純粋に教師付き学習を通じてモデルをトレーニングし、その目標を達成するためのレスポンスを生成することです。
論文 参考訳（メタデータ） (2026-05-08T01:55:40Z) - Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity [59.27594125465172]
データ推論強度 (Data Reasoning Intensity, DRI) は, サンプルの潜在論理的推論複雑性を定量化する新しい指標である。
次に、学習データの論理的推論強度を体系的に強化する再認識最適化戦略を導入する。
論文 参考訳（メタデータ） (2025-09-29T14:20:04Z) - Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。
分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。
以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
論文 参考訳（メタデータ） (2025-08-24T15:00:51Z) - Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。
ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。
CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。
IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
論文 参考訳（メタデータ） (2025-08-13T16:02:55Z) - Feedback-Induced Performance Decline in LLM-Based Decision-Making [6.5990946334144756]
大規模言語モデル(LLM)は、自然言語の問題記述からコンテキストを抽出することができる。
本稿では,マルコフ決定過程(MDP)におけるこれらのモデルの挙動について考察する。
論文 参考訳（メタデータ） (2025-07-20T10:38:56Z) - Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining [75.14823970163685]
LMMにおけるモダリティの不均衡に対処するため、新しい選好学習フレームワークMBPOを提案する。
MBPOは、強い負の反応、すなわちLLMバイアスによって誤った反応を生成することによって、より効果的なオフライン嗜好データセットを構築する。
視覚言語課題におけるLMM性能を高め、幻覚を効果的に軽減することができる。
論文 参考訳（メタデータ） (2025-05-20T03:59:05Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Embodied CoT Distillation From LLM To Off-the-shelf Agents [6.318203525449058]
DeDerは、大規模言語モデル(LLM)から具体的推論能力を分解し、蒸留するためのフレームワークである。
ALFREDベンチマークによる我々の実験は、DeDerが先進的な言語計画と蒸留アプローチを超越していることを示している。
論文 参考訳（メタデータ） (2024-12-16T07:18:02Z) - Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。
提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文 参考訳（メタデータ） (2024-10-07T23:38:58Z) - The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
本稿では,Large Language Models (LLM) の微調整について検討する。
従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。
本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
論文 参考訳（メタデータ） (2024-08-23T14:48:02Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。