Fugu-MT 論文翻訳(概要): From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning

論文の概要: From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning

arxiv url: http://arxiv.org/abs/2607.18830v1
Date: Tue, 21 Jul 2026 08:10:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-22 19:05:05.356247
Title: From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning
Title（参考訳）: 軌道から指示へ:言語によるメタ強化学習
Abstract要約: LA-MAMLは,学習したタスク命令の埋め込みを通じて,グローバルポリシーパラメータをひとつのステップで適応させることで,内部ループを修飾する。 BabyAIベンチマークの実験では、LA-MAMLはベースラインよりも競争力やパフォーマンスの向上を実現している。
参考スコア（独自算出の注目度）: 1.7205106391379026
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model-Agnostic Meta-Learning (MAML) is a widely used framework for reinforcement learning (RL) that enables efficient transfer by learning global policy parameters that can be rapidly adapted to new tasks. MAML training proceeds in two loops: an inner loop where the global parameters are adapted to task-specific parameters, and an outer loop where these task-specific parameters are evaluated and losses are back-propagated to improve the global parameters. Traditionally, the inner loop adaptation is performed by collecting trajectories from the task environment and applying gradient updates on the empirical expected return, which can be a costly operation. We note that it is the outer loop that drives the actual learning of global parameters, and therefore the inner loop adaptation mechanism need not be restricted to be gradient-based. This observation leads us to ask: Can we replace the inner loop trajectory collection and gradient update with a simpler, task-specific signal? In many practical settings, tasks are naturally accompanied by language instructions. Leveraging these instructions as a direct task-specific signal, we propose LA-MAML (Language Adapted MAML), which modifies the inner loop by adapting the global policy parameters in a single step through a learned embedding of the task instruction, replacing the inner loop trajectory collection and gradient-based updates. Experiments on the BabyAI benchmark demonstrate that LA-MAML achieves competitive or improved performance compared to baselines at a significantly lower per-iteration wall-clock training time. These results demonstrate that language instructions are an effective and efficient substitute for trajectory-based inner loop adaptation in meta RL.
Abstract（参考訳）: Model-Agnostic Meta-Learning (MAML)は、新しいタスクに迅速に適応可能なグローバルポリシーパラメータを学習することで効率的な伝達を可能にする強化学習(RL)のための広く使われているフレームワークである。 MAMLトレーニングは、グローバルパラメータがタスク固有のパラメータに適合する内ループと、これらのタスク固有のパラメータが評価され、損失がグローバルパラメータを改善するためにバックプロパゲーションされる外ループの2つのループで進行する。従来、インナーループ適応は、タスク環境から軌跡を収集し、経験的期待リターンに勾配更新を適用することで行われており、これはコストのかかる操作である。グローバルパラメータの実際の学習を駆動するのは外ループであり,従って内ループ適応機構を勾配に基づくものに制限する必要はない。内部ループの軌跡の収集と勾配の更新を、よりシンプルでタスク固有の信号で置き換えることができますか? 多くの実践的な環境では、タスクは自然に言語命令を伴います。本稿では,これらの命令を直接タスク固有信号として活用し,内部ループの軌跡収集と勾配に基づく更新を置き換え,タスク命令の学習埋め込みを通じてグローバルポリシーパラメータを単一ステップで適応することで内部ループを修飾するLA-MAML(Language Adapted MAML)を提案する。 BabyAIベンチマークの実験では、LA-MAMLは、壁面毎のトレーニング時間において、ベースラインに比べて、競争力や性能の向上を実現している。これらの結果から,メタRLにおけるトラジェクトリに基づくインナーループ適応の代用として,言語命令が効果的で効率的なことが示唆された。

関連論文リスト

Towards Evolving Context Parameterization for Large Language Models [13.314849988154707]
PLUMEは、グローバルな更新表現を構築し、メモリエビデンスを活性化してローカルパラメータビューを形成する、トレーニング不要の手法である。 PLUMEの有効性は, 平均ROUGE-Lリコールでは29.9%, LLM-as-a-Judgeでは54.9%であった。
論文参考訳（メタデータ） (2026-09-12T21:55:33Z)
InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance [8.272456038469484]
シンボリック回帰は、観測データから同義的な数学的法則を発見しようとする。我々は、PySRの遺伝的プログラミングエンジンを中心としたガイドレイヤーとして、LLM(Large Language Models)イテレーションを組み込むフレームワークであるInsightSRを紹介する。
論文参考訳（メタデータ） (2026-08-26T02:04:20Z)
RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning [31.8598046524742]
RIMRULEは、動的規則注入に基づく大規模言語モデル(LLM)適応のためのニューロシンボリックアプローチである。コンパクトで解釈可能なルールは、障害トレースから蒸留され、推論中にプロンプトに注入され、タスク性能が向上する。
論文参考訳（メタデータ） (2025-12-31T19:40:10Z)
Zero-Shot Instruction Following in RL via Structured LTL Representations [54.08661695738909]
リニア時間論理(LTL)は、強化学習(RL)エージェントのための複雑で構造化されたタスクを特定するための魅力的なフレームワークである。近年の研究では、命令を有限オートマトンとして解釈し、タスク進捗を監視する高レベルプログラムと見なすことができ、テスト時に任意の命令を実行することのできる1つのジェネラリストポリシーを学習できることが示されている。本稿では,この欠点に対処する任意の命令に従うために,マルチタスクポリシーを学習するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2025-12-02T10:44:51Z)
Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models [7.075648770762989]
低ランク適応(LoRA)を用いた微調整型大規模言語モデルは、特定のデータセットから情報を組み込むためのコスト効率のよい方法である。微調整 LLM がいかに一般化するか、すなわち、目に見えないデータセット上でどれだけうまく機能するかは、しばしば不明である。我々は,大規模モデルへの一般化とスケールを改善するために,LoRA (ABMLL) のためのアモータライズベイズメタラーニングを提案する。
論文参考訳（メタデータ） (2025-08-19T21:57:59Z)
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文参考訳（メタデータ） (2025-06-12T05:25:35Z)
Words as Beacons: Guiding RL Agents with High-Level Language Prompts [6.7236795813629]
大型言語モデル(LLM)は「教師」として、複雑なタスクをサブゴールに分解することでエージェントの学習プロセスを導く。 LLMは、人間と同じような方法で、環境のために定義されたタスクを達成するためのサブゴールを提供することができる。トレーニングフェーズの間のみLLMに問い合わせることができ、エージェントはLLMの介入なしに環境内で操作できる。
論文参考訳（メタデータ） (2024-10-11T08:54:45Z)
From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文参考訳（メタデータ） (2024-05-30T09:42:54Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
勾配に基づくメタラーナーはタスク分布に敏感であることを示す。間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
論文参考訳（メタデータ） (2020-02-19T01:40:45Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。