論文の概要: SUN: Reaching for Novelty in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.08642v1
• Date: Tue, 08 Sep 2026 12:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.644977
• Title: SUN: Reaching for Novelty in Reinforcement Learning
• Title（参考訳）: SUN:強化学習のノベルティへの取り組み
• Abstract要約: 我々は、あらゆる非政治強化学習アルゴリズムにシームレスに組み込むことができるリーチビリティ対応のゴール選択フレームワークを導入する。 我々は、SUNがカウントベースのボーナスをリカバリし、短期水平衝突確率を制限し、達成不可能な目標を確実に拒否することを証明する。 さらに、これらの特性を活用する適応的なゴール選択戦略と、古典的手法のオーバーヘッドを回避するための正確かつ軽量な擬似カウントを提案する。
• 参考スコア（独自算出の注目度）: 19.263974512647625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration in reinforcement learning (RL) remains a fundamental challenge. Recent goal-conditioned RL strategies (which select goals to encourage broader state coverage) have shown promising results, but none scores a goal by novelty and reachability jointly: the two signals are traded off by hand, applied in sequence, or one is neglected outright. In this paper, we introduce a reachability-aware goal-selection framework that explicitly integrates these two aspects, and that can be seamlessly incorporated into any off-policy RL algorithm. To this aim, we propose SUccessor-to-Novelty (SUN), an indicator derived from successor value functions to identify goals that are both novel and reachable. We prove that SUN recovers count-based bonuses in the limit, bounds short-horizon hitting probabilities, and provably rejects unreachable goals. We further present an adaptive goal-selection strategy that leverages these properties, and an accurate yet lightweight pseudocount to avoid the overhead of classic methods. We back up all our claims with thorough benchmarks: SUN consistently outperforms state-of-the-art methods in standard and novel environments with unreachable or hard-to-reach states, irreversible transitions, obstacles, mazes, and unbounded spaces.
• Abstract（参考訳）: 強化学習(RL)の探索は依然として根本的な課題である。 最近の目標条件付きRL戦略(より広範な州カバレッジを促進するための目標を選択する)は有望な結果を示しているが、新規性と到達性によって目標を達成しているものはない。 本稿では、これらの2つの側面を明示的に統合し、任意の非政治的RLアルゴリズムにシームレスに組み込むことができるリーチビリティ対応のゴール選択フレームワークを提案する。 そこで本研究では,SUN(Successor-to-Novelty)を提案する。 我々は、SUNがカウントベースのボーナスをリカバリし、短期水平衝突確率を制限し、達成不可能な目標を確実に拒否することを証明する。 さらに、これらの特性を活用する適応的なゴール選択戦略と、古典的手法のオーバーヘッドを回避するための正確かつ軽量な擬似カウントを提案する。 SUNは、標準および新しい環境において、到達不能または到達困難な状態、不可逆的な遷移、障害、迷路、および非有界な空間において、常に最先端の手法を上回ります。

関連論文リスト

• PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
  5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。 PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
  論文  参考訳（メタデータ） (2026-05-12T04:59:47Z)
• Make Anything Match Your Target: Universal Adversarial Perturbations against Closed-Source MLLMs via Multi-Crop Routed Meta Optimization [49.30177419529011]
  我々は、より厳密な設定であるユニバーサル・ターゲティング・トランスファラブル・アタック(UTTAA)について研究する。 単一の摂動は、未知の商用MLLMをまたいで、指定されたターゲットに対する任意の入力を常に制御しなければならない。 本稿では,M CRMO-Attackを提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:03:24Z)
• BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search [72.87861928940929]
  バウンダリ・アウェア・ポリシー・オプティマイゼーション(BAPO)は、信頼性の高い境界認識を精度を損なうことなく育成する新しいRLフレームワークである。 BAPOは2つの重要な要素を導入する: (i) グループベースの境界対応報酬(i) 推論が限界に達したときのみIDK応答を促進させる) 適応報酬変調器(ii) 早期探索中にこの報酬を戦略的に停止させ、モデルがIDKをショートカットとして利用するのを防ぐ。
  論文  参考訳（メタデータ） (2026-01-16T07:06:58Z)
• SALT: Step-level Advantage Assignment for Long-horizon Agents via Trajectory Graph [15.303565124424635]
  大きな言語モデル(LLM)は、言語エージェントがシングルターンタスクでエキサイティングな機能を示す。 複雑な多段階・長期のタスクへの応用は依然として困難である。 本稿では,結果報酬のみから派生した,よりきめ細かい有利な代入を提供するフレームワークであるSALTを提案する。
  論文  参考訳（メタデータ） (2025-10-22T20:50:24Z)
• Dual-Objective Reinforcement Learning with Novel Hamilton-Jacobi-Bellman Formulations [0.5937476291232802]
  強化学習(RL)における厳しい制約は、しばしば政策性能を低下させる。 ハミルトン・ヤコビ方程式とRLを結びつける最近の進歩を拡張し、二重目的満足度に対する2つの新しい値関数を提案する。 本稿では,これらの問題を解くための近似政策最適化(DO-HJ-PPO)のバリエーションを提案する。
  論文  参考訳（メタデータ） (2025-06-19T04:27:17Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Goal-conditioned Offline Reinforcement Learning through State Space Partitioning [9.38848713730931]
  オフライン強化学習(RL)は、オフラインデータセットのみを使用してシーケンシャルな決定ポリシーを推論することを目的としている。 我々は,その利点にもかかわらず,分散シフトやマルチモダリティ問題を完全に解決するには,このアプローチは依然として不十分である,と論じる。 本稿では,帰納的バイアスの新たな源となる相補的優位性に基づく重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T14:52:53Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Understanding Hindsight Goal Relabeling Requires Rethinking Divergence Minimization [10.854471763126117]
  マルチゴール強化学習(RL)の基礎技術として,隠れたゴールレバーベリングが注目されている。 そこで本研究では,このような関係を説明する目標達成のための統一的な目標を策定する。 近年のゴール条件付き行動クローニングの進歩にもかかわらず、マルチゴールQ-ラーニングは依然としてBCライクな手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2022-09-26T22:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。