論文の概要: Sliding Puzzles Gym: A Scalable Benchmark for State Representation in Visual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.14038v3
• Date: Thu, 13 Feb 2025 19:38:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:18.746958
• Title: Sliding Puzzles Gym: A Scalable Benchmark for State Representation in Visual Reinforcement Learning
• Title（参考訳）: Sliding Puzzles Gym: ビジュアル強化学習における状態表現のためのスケーラブルなベンチマーク
• Authors: Bryan L. M. de Oliveira, Murilo L. da Luz, Bruno Brandão, Luana G. B. Martins, Telma W. de L. Soares, Luckeciano C. Melo,
• Abstract要約: Sliding Puzzles Gym (SPGym) は、従来の8タイルパズルを任意に大きなデータセットから得られる画像の視覚的観察空間で再現する新しいベンチマークである。 SPGymは、視覚多様性を通じて表現複雑性を正確に制御し、研究者が表現学習課題を体系的にスケールできるようにする。 可能な画像のプールを広げることで、視覚的多様性が増すにつれて、テスト対象のアルゴリズムはすべて、大幅な性能劣化を示す。
• 参考スコア（独自算出の注目度）: 3.8309622155866583
• License:
• Abstract: Learning effective visual representations enables agents to extract meaningful information from raw sensory inputs, which is essential for generalizing across different tasks. However, evaluating representation learning separately from policy learning remains a challenge with most reinforcement learning (RL) benchmarks. To address this gap, we introduce the Sliding Puzzles Gym (SPGym), a novel benchmark that reimagines the classic 8-tile puzzle with a visual observation space of images sourced from arbitrarily large datasets. SPGym provides precise control over representation complexity through visual diversity, allowing researchers to systematically scale the representation learning challenge while maintaining consistent environment dynamics. Despite the apparent simplicity of the task, our experiments with both model-free and model-based RL algorithms reveal fundamental limitations in current methods. As we increase visual diversity by expanding the pool of possible images, all tested algorithms show significant performance degradation, with even state-of-the-art methods struggling to generalize across different visual inputs while maintaining consistent puzzle-solving capabilities. These results highlight critical gaps in visual representation learning for RL and provide clear directions for improving robustness and generalization in decision-making systems.
• Abstract（参考訳）: 効果的な視覚表現の学習は、エージェントが生の感覚入力から意味のある情報を抽出することを可能にする。 しかし、政策学習とは別の表現学習を評価することは、ほとんどの強化学習(RL)ベンチマークにおいて課題である。 このギャップに対処するために、任意に大きなデータセットから得られる画像の視覚的な観察空間で、古典的な8タイルパズルを再現する新しいベンチマークであるSliding Puzzles Gym(SPGym)を導入する。 SPGymは、視覚多様性を通じて表現複雑性を正確に制御し、一貫した環境ダイナミクスを維持しながら、表現学習課題を体系的にスケールすることができる。 タスクの単純さにもかかわらず、モデルフリーとモデルベースRLの両アルゴリズムによる実験により、現在の手法の基本的限界が明らかとなった。 可能な画像のプールを拡大することで、視覚的多様性が増大するにつれて、テスト対象のアルゴリズムはすべて、大幅なパフォーマンス低下を示し、最先端の手法でさえ、一貫したパズル解決能力を維持しながら、さまざまな視覚入力を一般化するのに苦労している。 これらの結果は、RLの視覚表現学習における重要なギャップを強調し、意思決定システムにおける堅牢性と一般化を改善するための明確な方向性を提供する。

関連論文リスト

• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison [0.0]
  本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。 その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
  論文  参考訳（メタデータ） (2023-10-06T13:22:26Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• Task-Induced Representation Learning [14.095897879222672]
  視覚的に複雑な環境における意思決定における表現学習手法の有効性を評価する。 表現学習は、視覚的に複雑なシーンであっても、目に見えないタスクのサンプル効率を向上する。
  論文  参考訳（メタデータ） (2022-04-25T17:57:10Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• The Distracting Control Suite -- A Challenging Benchmark for Reinforcement Learning from Pixels [10.727930028878516]
  DMコントロールを3種類の視覚的気晴らしで拡張し、ビジョンベースの制御のための新たな挑戦的なベンチマークを作成します。 本実験では, 視覚に基づく制御における現在のRL法が, 気晴らし下では不十分であることを示す。 また、複数の気晴らしタイプの組み合わせは、単に個々の効果の組み合わせよりも困難であることがわかります。
  論文  参考訳（メタデータ） (2021-01-07T19:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。