論文の概要: Endogenous Exploration in Reinforcement Learning with Intrinsic Curiosity
- arxiv url: http://arxiv.org/abs/2609.05650v1
- Date: Fri, 04 Sep 2026 18:30:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.103486
- Title: Endogenous Exploration in Reinforcement Learning with Intrinsic Curiosity
- Title（参考訳）: 内因性好奇心を用いた強化学習における内因性探索
- Abstract要約: 本研究では,本質的な好奇心によって探索が促される強化学習フレームワークを提案する。
中心的な仮説は、効果的な探検は中間レベルの不整合で現れるというものである。
また,同一解析条件下では,好奇性ウィンドウがアクティブ推論エージェントでは復元されないことを示す。
- 参考スコア（独自算出の注目度）: 0.2734499144137758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a reinforcement learning framework in which exploration is driven by intrinsic curiosity, designed for scenarios where environments are non-stationary and rewards are sparse, delayed, uninformative, or absent. In our model, action selection is guided by a combination of external rewards and an epistemic motivation mechanism that biases the agent toward structured exploratory directions. The central hypothesis is that effective exploration emerges at intermediate levels of incoherence, while performance degrades under both overly rigid and overly disordered dynamics. To test this idea, we implement the framework on top of a Liquid State Machine (LSM) substrate and evaluate it on two standard benchmarks: the discrete-action LunarLanderv2 and the continuous-control BipedalWalkerv3. The proposed method achieves competitive performance on both tasks relative to established deep RL algorithms, including Proximal Policy Optimization (PPO) and Intrinsic Curiosity Module (ICM). We further show that the curiosity window is not recovered in Active Inference agents under the same analysis, suggesting that the proposed dynamics capture a distinct exploration regime
- Abstract（参考訳）: 本研究では,非定常環境と報酬が疎外・遅延・不定形・欠落のシナリオを対象とした,本質的な好奇心によって探索を駆動する強化学習フレームワークを提案する。
本モデルでは, 行動選択は, 外部報酬と, エージェントを構造化された探索方向に向けて偏見するてんかん動機づけ機構の組み合わせによって導かれる。
中心的な仮説は、効果的な探索は中間レベルの不整合で発生し、一方、性能は過度に厳密で過度に乱れた力学の下で低下する、というものである。
このアイデアをテストするために,Liquid State Machine (LSM) 基板上にフレームワークを実装し,離散動作の LunarLanderv2 と連続制御の BipedalWalkerv3 という2つの標準ベンチマークで評価する。
提案手法は,PPO (Proximal Policy Optimization) やICM (Intrinsic Curiosity Module) など,確立された深いRLアルゴリズムに対する両タスクの競合性能を実現する。
さらに、同一分析の下では、好奇性ウィンドウがアクティブ推論エージェントでは復元されないことを示し、提案したダイナミクスが別の探査体制を捉えていることを示唆する。
関連論文リスト
- Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。
不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。
AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-07-15T14:30:20Z) - Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。
本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。
人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
論文 参考訳（メタデータ） (2026-07-01T08:41:49Z) - FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning [63.80677039120727]
FlowR2Aは、スコアリングに基づく手法の厳密な監督と、単一の生成モデルによるアンカーベースの手法の提案を統一する。
ソフトプログレッシブ目標に対するハードセーフティ制約のバランスをとるために, 微粒度毎の報奨条件と報奨雑音の増大を導入する。
生成形式は、報酬誘導と固定サンプリングによる制御可能なテスト時間サンプリングをサポートし、高品質な提案を生成する。
論文 参考訳（メタデータ） (2026-06-23T07:21:36Z) - DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off [87.58233482504308]
Reinforcement Learning with Verifiable Rewards (RLVR)は、Large Language Models (LLMs)の推論能力に大きな進歩をもたらした。
本稿では, 訓練中の非常に硬く, 容易なサンプルの探索と利用のジレンマを十分に分析し, 新たな微細なトレードオフ機構を提案する。
論文 参考訳（メタデータ） (2026-04-15T14:12:10Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Off-policy Reinforcement Learning with Model-based Exploration Augmentation [29.61835214523957]
我々は,未探索臨界状態の生成を通じて探索を強化するモデル生成探索(MoGE)を提案する。
MoGEは,(1)政策探索における各州の潜在的影響を評価するユーティリティ関数の指導の下で臨界状態を合成する拡散型ジェネレータと,(2)エージェント学習の臨界状態に基づく臨界遷移を構築するための一段階の想像的世界モデルとから構成される。
提案手法では,非政治学習の原則に則ったモジュール型定式化を採用し,既存のアルゴリズムとのシームレスな統合により,コア構造を変更することなく探索を改善する。
論文 参考訳（メタデータ） (2025-10-29T13:53:52Z) - Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration [21.410144944756308]
エージェントがノイズの多いサプライズ信号をフィルタリングし、固有好奇心を推論されたマルチエージェントコンテキストで動的に校正することで、ガイド探索を可能にする、原則化されたフレームワークであるCERMICを紹介する。
CERMICをVMAS, Meltingpot, SMACv2などのベンチマークスイートで評価する。
論文 参考訳（メタデータ） (2025-09-25T01:07:08Z) - Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。
SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文 参考訳（メタデータ） (2025-09-20T17:09:14Z) - Dealing with uncertainty: balancing exploration and exploitation in deep
recurrent reinforcement learning [0.0]
環境に関する不完全な知識は、不確実性の下で意思決定を行うエージェントを導く。
強化学習(Reinforcement Learning, RL)では、自律的なエージェントが2つの対照的なニーズのバランスを取る必要がある。
適応的手法は、探索と搾取の間のトレードオフを近似した方がよいことを示す。
論文 参考訳（メタデータ） (2023-10-12T13:45:33Z) - Self-supervised network distillation: an effective approach to exploration in sparse reward environments [0.0]
強化学習は、事前に設計された報酬関数に従って、エージェントが環境の中で振る舞うように訓練することができる。
そのような問題の解決策は、エージェントに情報的な探索を提供する本質的な動機を与えることであるかもしれない。
本稿では, 蒸留誤差に基づく本質的な動機づけアルゴリズムである自己教師ネットワーク蒸留(SND)を新規性指標として提示する。
論文 参考訳（メタデータ） (2023-02-22T18:58:09Z) - Deep Intrinsically Motivated Exploration in Continuous Control [0.0]
連続的なシステムでは、ネットワークのパラメータや選択されたアクションがランダムノイズによって乱されるような、間接的でない戦略によって探索が行われることが多い。
我々は、動物モチベーションシステムに関する既存の理論を強化学習パラダイムに適応させ、新しい探究戦略を導入する。
我々のフレームワークは、より大きく多様な状態空間に拡張し、ベースラインを劇的に改善し、間接的でない戦略を大幅に上回る。
論文 参考訳（メタデータ） (2022-10-01T14:52:16Z) - Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。
環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。
提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-17T09:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。