論文の概要: Reinforcement Learning with Generalizable Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2404.07950v2
• Date: Mon, 5 Aug 2024 02:45:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 23:07:02.282407
• Title: Reinforcement Learning with Generalizable Gaussian Splatting
• Title（参考訳）: 一般化可能なガウススプレイティングによる強化学習
• Authors: Jiaxu Wang, Qiang Zhang, Jingkai Sun, Jiahang Cao, Gang Han, Wen Zhao, Weining Zhang, Yecheng Shao, Yijie Guo, Renjing Xu,
• Abstract要約: 優れた表現は強化学習(RL)のパフォーマンスに不可欠である。 本稿では、GSRLと呼ばれるRLタスクを表現するための新しい一般化可能なガウススティングフレームワークを提案する。 提案手法は,複数のタスクにおいて,他のベースラインよりも優れた結果が得られ,最も難しいタスクのベースラインと比較して10%,44%,15%の性能が向上する。
• 参考スコア（独自算出の注目度）: 14.017999398311298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An excellent representation is crucial for reinforcement learning (RL) performance, especially in vision-based reinforcement learning tasks. The quality of the environment representation directly influences the achievement of the learning task. Previous vision-based RL typically uses explicit or implicit ways to represent environments, such as images, points, voxels, and neural radiance fields. However, these representations contain several drawbacks. They cannot either describe complex local geometries or generalize well to unseen scenes, or require precise foreground masks. Moreover, these implicit neural representations are akin to a ``black box", significantly hindering interpretability. 3D Gaussian Splatting (3DGS), with its explicit scene representation and differentiable rendering nature, is considered a revolutionary change for reconstruction and representation methods. In this paper, we propose a novel Generalizable Gaussian Splatting framework to be the representation of RL tasks, called GSRL. Through validation in the RoboMimic environment, our method achieves better results than other baselines in multiple tasks, improving the performance by 10%, 44%, and 15% compared with baselines on the hardest task. This work is the first attempt to leverage generalizable 3DGS as a representation for RL.
• Abstract（参考訳）: 優れた表現は強化学習(RL)のパフォーマンス、特に視覚に基づく強化学習において重要である。 環境表現の質は学習課題の達成に直接影響を及ぼす。 従来の視覚ベースのRLは、画像、点、ボクセル、神経放射場などの環境を表現するために、明示的または暗黙的な方法を使用するのが一般的である。 しかし、これらの表現にはいくつかの欠点がある。 複雑な局所的な地形を記述することも、見えない場面によく一般化することも、正確な前景マスクを必要とすることもできない。 さらに、これらの暗黙的な神経表現は『ブラックボックス』に似たものであり、解釈可能性を大幅に妨げている。 3D Gaussian Splatting (3DGS) は、その明示的なシーン表現と微分可能なレンダリング特性を持ち、再構築と表現方法の革新的変化と見なされている。 本稿では、GSRLと呼ばれるRLタスクを表現するための新しい一般化可能なガウス分割フレームワークを提案する。 提案手法は,RoboMimic環境での検証により,複数のタスクにおいて他のベースラインよりも優れた結果が得られ,最も難しいタスクのベースラインに比べて10%,44%,15%の性能向上が達成される。 この研究は、RLの表現として一般化可能な3DGSを活用する最初の試みである。

関連論文リスト

• SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training [127.47044960572659]
  ファウンデーションモデルでは、教師付き微調整(SFT)と強化学習(RL)がポストトレーニング技術として広く使われている。 本稿では,一般化と記憶におけるSFTとRLの違いについて検討する。 RLは、特に結果に基づく報酬で訓練された場合、ルールベースのテキストと視覚的バリエーションの両方で一般化されることを示す。
  論文  参考訳（メタデータ） (2025-01-28T18:59:44Z)
• Generalized and Efficient 2D Gaussian Splatting for Arbitrary-scale Super-Resolution [10.074968164380314]
  Inlicit Neural Representation (INR) は、任意スケール超解法 (ASR) に成功している 各ピクセルをレンダリングするために、何度もクエリするのは計算コストがかかる。 近年,Gaussian Splatting (GS)は3次元タスクの視覚的品質とレンダリング速度の両方において,INRよりも優位性を示している。
  論文  参考訳（メタデータ） (2025-01-12T15:14:58Z)
• Occam's LGS: A Simple Approach for Language Gaussian Splatting [57.00354758206751]
  言語接地型3次元ガウススプラッティングの高度な技術は、単に不要であることを示す。 オッカムのカミソリを手作業に適用し、重み付けされた多視点特徴集計を行う。 我々の結果は2桁のスピードアップによる最先端の結果を提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:50:37Z)
• GSDF: 3DGS Meets SDF for Improved Rendering and Reconstruction [20.232177350064735]
  フレキシブルで効率的な3次元ガウス分割表現とニューラルサイン付き距離場(SDF)の利点を組み合わせた新しいデュアルブランチアーキテクチャを提案する。 我々のデザインがより正確で詳細な表面再構成の可能性を解き放つ多様なシーンを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:22:11Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Neural Radiance Field Codebooks [53.01356339021285]
  我々は、オブジェクト指向表現を学習するためのスケーラブルな方法であるNeural Radiance Field Codebooks (NRC)を紹介する。 NRCは、ボリューム再構成によってデコードされたオブジェクトコードの辞書を使用して、新しいビューからシーンを再構築することを学ぶ。 NRC表現は、THORのオブジェクトナビゲーションによく対応し、2Dおよび3D表現学習法を3.1%の成功率で上回ることを示す。
  論文  参考訳（メタデータ） (2023-01-10T18:03:48Z)
• Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning [27.304282924423095]
  一般化可能ビジュアル強化学習(PIE-G)のための事前学習画像を提案する。 PIE-Gは、目に見えない視覚シナリオをゼロショットで一般化できる、シンプルで効果的なフレームワークである。 実証的な証拠は、PIE-Gがサンプル効率を向上し、一般化性能の点で従来の最先端手法を著しく上回っていることを示唆している。
  論文  参考訳（メタデータ） (2022-12-17T12:45:08Z)
• Contrastive Learning as Goal-Conditioned Reinforcement Learning [147.28638631734486]
  強化学習(RL)では,優れた表現が与えられると,課題の解決が容易になる。 ディープRLはこのような優れた表現を自動的に取得する必要があるが、事前の作業では、エンドツーエンドの方法での学習表現が不安定であることが多い。 比較的)表現学習法は,RLアルゴリズムとして自己にキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T14:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。