論文の概要: V-Simba: Unleashing the Architectural Potential of RL in Visual Continuous Control

• arxiv url: http://arxiv.org/abs/2608.07870v1
• Date: Sat, 08 Aug 2026 02:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.541257
• Title: V-Simba: Unleashing the Architectural Potential of RL in Visual Continuous Control
• Title（参考訳）: V-Simba: 視覚的連続制御におけるRLのアーキテクチャ的可能性
• Abstract要約: V-Simbaは、状態ベースRLにインスパイアされたビジュアル強化学習アーキテクチャである。 V-Simbaは、トレーニングを安定させるために正規化層を追加し、計算を減らすためにポイントワイズ畳み込みを使用することでアーキテクチャを変更する。 V-Simbaは、DMC、Adroit、Meta-Worldのベンチマークで最先端のメソッドにマッチする。
• 参考スコア（独自算出の注目度）: 58.05675232314247
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Improving sample efficiency remains a core challenge in reinforcement learning (RL), especially in real-world settings like robotics, where data collection is costly. This challenge is pronounced in visual RL, where high-dimensional inputs often obscure learning signals. While prior work in visual RL has focused on algorithmic solutions, such as better dynamics models or exploration strategies, recent advances in state-based RL show that architectural design alone can lead to significant gains in sample efficiency. This raises an important question: Can these architectural principles transfer to visual RL? In response, we introduce V-Simba, a simple yet effective visual RL architecture inspired by the Simba architecture from state-based RL. Built on top of Soft Actor-Critic (SAC) with data augmentation, V-Simba modifies the architecture by adding normalization layers to stabilize training and using pointwise convolutions to reduce computation. Despite its simplicity, V-Simba matches or outperforms the state-of-the-art methods across the DMC, Adroit, and Meta-World benchmarks, while being more computationally efficient than DrQ-v2. We make our code publicly available at https://github.com/DAVIAN-Robotics/V-Simba.
• Abstract（参考訳）: サンプル効率の向上は、強化学習(RL)において、特にデータ収集にコストがかかるロボティクスのような現実的な環境において、依然として重要な課題である。 この課題は視覚的RLで発音され、高次元入力はしばしば学習信号があいまいである。 視覚的RLにおける以前の研究は、より良い力学モデルや探索戦略のようなアルゴリズム的なソリューションに重点を置いていたが、状態ベースのRLの最近の進歩は、アーキテクチャ設計だけでサンプル効率が大幅に向上することを示している。 これらのアーキテクチャ原則は、視覚的RLに移行できますか? これに対し、状態ベースRLのSimbaアーキテクチャにインスパイアされた、シンプルで効果的なビジュアルRLアーキテクチャであるV-Simbaを紹介する。 データ拡張を備えたSoft Actor-Critic (SAC)上に構築されたV-Simbaは、正規化レイヤを追加してトレーニングを安定化し、ポイントワイド畳み込みを使用して計算を削減し、アーキテクチャを改良する。 その単純さにもかかわらず、V-SimbaはDMC、Adroit、Meta-Worldベンチマークにまたがる最先端の手法に適合し、性能はDrQ-v2よりも効率的である。 コードはhttps://github.com/DAVIAN-Robotics/V-Simba.comで公開しています。

関連論文リスト

• From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning? [76.288870982181]
  タンパク質言語モデル(PLM)は、大規模事前学習と拡張性のあるアーキテクチャを通じて高度な計算タンパク質科学を持つ。 強化学習(RL)は探索を拡大し、タンパク質設計における正確な多目的最適化を可能にした。 RLはサンプリング効率を向上し,さらに重要な点として,教師あり学習で捉えない能力を明らかにするかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-02T01:31:10Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Hyperspherical Normalization for Scalable Deep Reinforcement Learning [57.016639036237315]
  SimbaV2は最適化を安定させるために設計された新しい強化学習アーキテクチャである。 57の連続制御タスクにおいて、より大きなモデルとより大きな計算で効果的にスケールアップし、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-21T08:17:24Z)
• Beyond Tabula Rasa: Reincarnating Reinforcement Learning [37.201451908129386]
  タブララ・ラサの学習は、事前の知識がなければ、強化学習(RL)研究における一般的なワークフローである。 我々は、RLエージェントの設計イテレーション間で事前の計算作業を再利用または転送するワークフローとして、RLを再導入する。 既存のアプローチはこの設定で失敗し、それらの制限に対処するための単純なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T15:11:10Z)
• POAR: Efficient Policy Optimization via Online Abstract State Representation Learning [6.171331561029968]
  状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。 我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。 我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
  論文  参考訳（メタデータ） (2021-09-17T16:52:03Z)
• Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation [25.493902939111265]
  オフ・ポリティクス強化学習アルゴリズムにおけるデータ強化における不安定性の原因について検討する。 本稿では,このアルゴリズムを拡張の下で安定化するための,シンプルで効果的な手法を提案する。 本手法は,画像ベースRLの最先端手法と競合し,ConvNetの安定性とサンプル効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-01T17:58:05Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。