論文の概要: Curriculum-Based Multi-Tier Semantic Exploration via Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2509.09356v1
• Date: Thu, 11 Sep 2025 11:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.350846
• Title: Curriculum-Based Multi-Tier Semantic Exploration via Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習によるカリキュラムに基づく多層セマンティック探索
• Authors: Abdel Hakim Drid, Vincenzo Suriani, Daniele Nardi, Abderrezzak Debilou,
• Abstract要約: 本稿では,資源効率の良い意味探索を目的とした新しいDeep Reinforcement Learningアーキテクチャを提案する。 重要な方法論的貢献は、層状報酬関数によるビジョンランゲージモデル(VLM)の共通センスの統合である。 本研究では,本エージェントがオブジェクト発見率を大幅に向上し,セマンティックにリッチな領域へ効果的にナビゲートする学習能力を開発したことを示す。
• 参考スコア（独自算出の注目度）: 1.8374319565577155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Navigating and understanding complex and unknown environments autonomously demands more than just basic perception and movement from embodied agents. Truly effective exploration requires agents to possess higher-level cognitive abilities, the ability to reason about their surroundings, and make more informed decisions regarding exploration strategies. However, traditional RL approaches struggle to balance efficient exploration and semantic understanding due to limited cognitive capabilities embedded in the small policies for the agents, leading often to human drivers when dealing with semantic exploration. In this paper, we address this challenge by presenting a novel Deep Reinforcement Learning (DRL) architecture that is specifically designed for resource efficient semantic exploration. A key methodological contribution is the integration of a Vision-Language Model (VLM) common-sense through a layered reward function. The VLM query is modeled as a dedicated action, allowing the agent to strategically query the VLM only when deemed necessary for gaining external guidance, thereby conserving resources. This mechanism is combined with a curriculum learning strategy designed to guide learning at different levels of complexity to ensure robust and stable learning. Our experimental evaluation results convincingly demonstrate that our agent achieves significantly enhanced object discovery rates and develops a learned capability to effectively navigate towards semantically rich regions. Furthermore, it also shows a strategic mastery of when to prompt for external environmental information. By demonstrating a practical and scalable method for embedding common-sense semantic reasoning with autonomous agents, this research provides a novel approach to pursuing a fully intelligent and self-guided exploration in robotics.
• Abstract（参考訳）: 複雑で未知の環境をナビゲートし理解するためには、単なる基本的な認識や、エンボディエージェントからの移動以上のことが必要になります。 真に効果的な調査には、エージェントはより高いレベルの認知能力、周囲を判断する能力、探索戦略に関するより深い決定をする必要がある。 しかしながら、従来のRLアプローチは、エージェントの小さなポリシーに埋め込まれた限られた認知能力のために、効率的な探索と意味理解のバランスをとるのに苦労している。 本稿では,資源効率のよい意味探索を念頭に設計した新しいDeep Reinforcement Learning (DRL)アーキテクチャを提案することで,この問題に対処する。 重要な方法論的貢献は、層状報酬関数によるビジョンランゲージモデル(VLM)の共通センスの統合である。 VLMクエリは専用のアクションとしてモデル化されており、外部ガイダンスを取得するために必要な場合にのみ、エージェントが戦略的にVLMに問い合わせることを可能にし、リソースを保存できる。 このメカニズムは、様々なレベルの複雑さでの学習をガイドし、堅牢で安定した学習を保証するために設計されたカリキュラム学習戦略と組み合わせられる。 実験結果から,本エージェントがオブジェクト発見率を大幅に向上し,意味的に豊かな領域へ効果的にナビゲートできる学習能力を開発したことが示唆された。 また、外部の環境情報をいつ呼び出すかという戦略的な熟達も示している。 本研究は、自律エージェントに常識的推論を組み込む実用的でスケーラブルな手法を実証することにより、ロボット工学における完全インテリジェントで自己誘導的な探索を追求するための新しいアプローチを提供する。

関連論文リスト

• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Agentic Knowledgeable Self-awareness [79.25908923383776]
  KnowSelfはデータ中心のアプローチで、人間のような知識のある自己認識を持つエージェントを応用する。 我々の実験により、KnowSelfは、外部知識を最小限に使用して、様々なタスクやモデルにおいて、様々な強力なベースラインを達成できることが実証された。
  論文  参考訳（メタデータ） (2025-04-04T16:03:38Z)
• Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems [132.77459963706437]
  この本は、モジュール化された脳に触発されたアーキテクチャの中で、インテリジェントなエージェントをフレーミングする、包括的な概要を提供する。 自己向上と適応的な進化のメカニズムを探求し、エージェントが自律的に能力を洗練する方法を探求する。 また、エージェントの相互作用、協力、社会構造から生じる集合的知性についても調べる。
  論文  参考訳（メタデータ） (2025-03-31T18:00:29Z)
• Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments [1.104960878651584]
  本稿では, 自己強化学習(RL)の概要を概観し, スキルレパートリーのオープンエンド形成における本質的モチベーションの役割を強調した。 知識ベースと能力ベースの本質的なモチベーションの区別を明確にし、これらの概念が自己定義目標を生成・追求できる自律エージェントの開発にどのように役立つかを説明する。
  論文  参考訳（メタデータ） (2025-02-06T14:37:46Z)
• Selective Exploration and Information Gathering in Search and Rescue Using Hierarchical Learning Guided by Natural Language Input [5.522800137785975]
  本稿では,大規模言語モデル(LLM)と階層的強化学習(HRL)フレームワークを連携させるシステムを提案する。 提案システムは,人間の利害関係者からの言語入力を実用的なRLインサイトへ翻訳し,検索戦略を調整するように設計されている。 LLMによる人為的情報の利用とHRLによるタスク実行の構造化により、長い地平線とスパース報酬を特徴とする環境におけるエージェントの学習効率と意思決定プロセスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-20T12:27:47Z)
• Synthesizing Evolving Symbolic Representations for Autonomous Systems [2.4233709516962785]
  本稿では,その経験をスクラッチからPDDL表現に合成し,時間とともに更新できるオープンエンド学習システムを提案する。 a)選択肢を発見する、(b)選択肢を使って環境を探索する、(c)収集した知識を抽象化する、(d)計画。
  論文  参考訳（メタデータ） (2024-09-18T07:23:26Z)
• WESE: Weak Exploration to Strong Exploitation for LLM Agents [95.6720931773781]
  本稿では,オープンワールド対話型タスクの解法において,LLMエージェントの強化を目的としたWeak Exploration to Strong Exploitation (WESE)を提案する。 WESEは、探究と搾取のプロセスを分離し、費用対効果の弱いエージェントを用いて世界的知識の探索を行う。 次に、獲得した知識を格納し、タスク関連知識を抽出する知識グラフベースの戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-11T03:31:54Z)
• Improving Knowledge Extraction from LLMs for Task Learning through Agent Analysis [4.055489363682198]
  大規模言語モデル(LLM)は、タスク学習の知識源として大きな可能性を秘めている。 プロンプト工学は、LLMから知識を引き出すのに有効であることが示されているが、同時に、新しいタスクを具現化したエージェント学習のための、適切な、状況に根ざした知識を得るには不十分である。 本稿では,認知エージェントアプローチであるSTARSについて述べる。これは,迅速なエンジニアリングを拡張し,その制限を緩和し,エージェントがネイティブ言語能力,具体化,環境,ユーザ嗜好に適合する新たなタスク知識を取得できるようにする。
  論文  参考訳（メタデータ） (2023-06-11T20:50:14Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。