論文の概要: LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.01488v1
• Date: Mon, 02 Mar 2026 05:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.706022
• Title: LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
• Title（参考訳）: 適応型深層強化学習のためのLLM支援セマンティックオプション発見
• Authors: Chang Yao, Jinghui Qin, Kebing Jin, Hankz Hankui Zhuo,
• Abstract要約: 深層強化学習(Dep Reinforcement Learning, DRL)は、まだ実用上重要な問題に悩まされている。 最近の研究では、これらの課題に対処するために、LLM(Large Language Models)とシンボリックプランニングを統合することが期待されている。 セマンティック駆動のスキル再利用とリアルタイム制約モニタリングを可能にする,新しいLCM駆動クローズドループフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.916253226597956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite achieving remarkable success in complex tasks, Deep Reinforcement Learning (DRL) is still suffering from critical issues in practical applications, such as low data efficiency, lack of interpretability, and limited cross-environment transferability. However, the learned policy generating actions based on states are sensitive to the environmental changes, struggling to guarantee behavioral safety and compliance. Recent research shows that integrating Large Language Models (LLMs) with symbolic planning is promising in addressing these challenges. Inspired by this, we introduce a novel LLM-driven closed-loop framework, which enables semantic-driven skill reuse and real-time constraint monitoring by mapping natural language instructions into executable rules and semantically annotating automatically created options. The proposed approach utilizes the general knowledge of LLMs to facilitate exploration efficiency and adapt to transferable options for similar environments, and provides inherent interpretability through semantic annotations. To validate the effectiveness of this framework, we conduct experiments on two domains, Office World and Montezuma's Revenge, respectively. The results demonstrate superior performance in data efficiency, constraint compliance, and cross-task transferability.
• Abstract（参考訳）: 複雑なタスクにおいて顕著な成功を収めたにもかかわらず、Deep Reinforcement Learning (DRL) は、データ効率の低下、解釈可能性の欠如、環境横断の伝達可能性の制限など、実用上の重要な問題に悩まされている。 しかし、国家に基づく学習政策生成行動は環境変化に敏感であり、行動安全とコンプライアンスの確保に苦慮している。 最近の研究では、これらの課題に対処するために、LLM(Large Language Models)とシンボリックプランニングを統合することが期待されている。 これにより、自然言語命令を実行可能なルールにマッピングし、自動生成されたオプションを意味的に注釈付けすることで、セマンティック駆動のスキル再利用とリアルタイム制約監視を可能にする。 提案手法は,LLMの一般的な知識を活用して,探索効率の向上と類似環境の移動可能なオプションへの適応を実現し,セマンティックアノテーションによる固有の解釈性を提供する。 本フレームワークの有効性を検証するため,オフィスワールドとモンテズマのリベンジという2つの領域で実験を行った。 その結果、データ効率、制約コンプライアンス、タスク間転送性において優れた性能を示した。

関連論文リスト

• Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
  本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。 15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。 これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-09-23T12:55:57Z)
• Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions? [36.957333458197034]
  大規模言語モデル(LLM)は多様なタスクにおいて高いパフォーマンスを達成するが、認知慣性を示すことが多い。 Inverse IFEvalは、モデルの能力を測定し、トレーニングによるバイアスをオーバーライドし、敵の指示に従うためのベンチマークである。
  論文  参考訳（メタデータ） (2025-09-04T15:03:02Z)
• Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
  クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。 パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。 本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T15:47:22Z)
• Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
  我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
  論文  参考訳（メタデータ） (2024-12-19T17:03:02Z)
• Unlocking the Power of LLM Uncertainty for Active In-Context Example Selection [6.813733517894384]
  Uncertainty Tripartite Testing Paradigm (Unc-TTP)は、LLM(Large Language Models)を分類する新しい手法である。 Unc-TTPは、異なるラベル注入干渉下で3ラウンドのサンプリングを行い、全ての可能な結果を列挙する。 本実験は,Unc-TTPを用いて選択した不確実性例が確実性例よりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-08-17T11:33:23Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• Knowledgeable Agents by Offline Reinforcement Learning from Large Language Model Rollouts [10.929547354171723]
  本稿では,言語モデルロールアウト(KALM)の知識エージェントを紹介する。 大規模言語モデル(LLM)から、オフラインの強化学習手法によってエージェントが容易に学習できる想像上のロールアウトの形で知識を抽出する。 未確認の目標を持つタスクの実行において46%の成功率を達成し、ベースラインメソッドによって達成された26%の成功率を大幅に上回る。
  論文  参考訳（メタデータ） (2024-04-14T13:19:40Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning [19.470693909025798]
  シンボリックオプションを備えた新しい深層強化学習フレームワークを導入する。 当社のフレームワークは,政策改善の指針となるループトレーニングを特徴としている。 我々はモンテズマのRevengeとOffice Worldの2つの領域でそれぞれ実験を行っている。
  論文  参考訳（メタデータ） (2021-12-18T03:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。