論文の概要: Learning Fused State Representations for Control from Multi-View Observations

• arxiv url: http://arxiv.org/abs/2502.01316v1
• Date: Mon, 03 Feb 2025 12:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:01.507025
• Title: Learning Fused State Representations for Control from Multi-View Observations
• Title（参考訳）: 多視点観測による制御のための融合状態表現の学習
• Authors: Zeyu Wang, Yao-Hui Li, Xin Li, Hongyu Zang, Romain Laroche, Riashat Islam,
• Abstract要約: MVRL(Multi-view Reinforcement Learning)は、エージェントに多視点観察を提供し、より有効で精度の高い環境を認識できるようにする。 MVRLの最近の進歩は、多視点観測から潜在表現を抽出し、制御タスクに活用することに焦点を当てている。 まず,MVRLにバイシミュレートメトリック学習を取り入れ,タスク関連表現を学習する多視点統合制御(MFSC)を提案する。
• 参考スコア（独自算出の注目度）: 19.862313754887648
• License:
• Abstract: Multi-View Reinforcement Learning (MVRL) seeks to provide agents with multi-view observations, enabling them to perceive environment with greater effectiveness and precision. Recent advancements in MVRL focus on extracting latent representations from multiview observations and leveraging them in control tasks. However, it is not straightforward to learn compact and task-relevant representations, particularly in the presence of redundancy, distracting information, or missing views. In this paper, we propose Multi-view Fusion State for Control (MFSC), firstly incorporating bisimulation metric learning into MVRL to learn task-relevant representations. Furthermore, we propose a multiview-based mask and latent reconstruction auxiliary task that exploits shared information across views and improves MFSC's robustness in missing views by introducing a mask token. Extensive experimental results demonstrate that our method outperforms existing approaches in MVRL tasks. Even in more realistic scenarios with interference or missing views, MFSC consistently maintains high performance.
• Abstract（参考訳）: MVRL(Multi-View Reinforcement Learning)は、エージェントにマルチビューの観察を提供し、より有効で精度の高い環境を認識できるようにする。 MVRLの最近の進歩は、多視点観測から潜在表現を抽出し、制御タスクに活用することに焦点を当てている。 しかし、コンパクトでタスク関連のある表現、特に冗長性の有無、情報に気を散らすこと、あるいは欠落した視点で学ぶことは容易ではない。 本稿では,マルチビュー統合制御(MFSC, Multi-view Fusion State for Control)を提案する。 さらに,マルチビュー型マスクと潜在再構成支援タスクを提案し,マスクトークンを導入することで,ビュー間の共有情報を活用し,MFSCのロバスト性を向上させる。 本手法は, MVRLタスクにおける既存手法よりも優れた性能を示す。 干渉やビューの欠如を伴うより現実的なシナリオであっても、MFSCは一貫して高いパフォーマンスを維持している。

関連論文リスト

• Balanced Multi-view Clustering [56.17836963920012]
  マルチビュークラスタリング(MvC)は、さまざまなビューからの情報を統合して、基盤となるデータ構造をキャプチャするモデルの能力を高めることを目的としている。 MvCで広く使われているジョイントトレーニングパラダイムは、多視点情報を十分に活用していない可能性がある。 本稿では,ビュー固有のコントラスト正規化(VCR)を導入し,各ビューの最適化を最適化する新しいマルチビュークラスタリング(BMvC)手法を提案する。
  論文  参考訳（メタデータ） (2025-01-05T14:42:47Z)
• Rethinking Multi-view Representation Learning via Distilled Disentangling [34.14711778177439]
  マルチビュー表現学習は、多様なデータソースからビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチの詳細な分析を行い、ビュー一貫性とビュー固有表現の冗長性を強調した。 我々は,多視点表現学習のための革新的枠組みを提案し,これを「蒸留解離」と呼ぶ手法を取り入れた。
  論文  参考訳（メタデータ） (2024-03-16T11:21:24Z)
• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• Investigating and Mitigating the Side Effects of Noisy Views for Self-Supervised Clustering Algorithms in Practical Multi-View Scenarios [35.32285779434823]
  マルチビュークラスタリング(MVC)は,マルチビューデータのカテゴリ構造を自己管理的に探索することを目的としている。 ノイズの多いビューは、実際のマルチビューシナリオでビューがノイズの多いときに、深刻な縮退する可能性がある。 この問題に対処するために理論的に基礎をおくディープMVC法(別名MVCAN)を提案する。
  論文  参考訳（メタデータ） (2023-03-30T09:22:17Z)
• Robust Representation Learning by Clustering with Bisimulation Metrics for Visual Reinforcement Learning with Distractions [9.088460902782547]
  Bisimulation Metrics (CBM) によるクラスタリングは、潜在空間における視覚的観察をグループ化することで、堅牢な表現を学習する。 CBMは,(1)実測距離を学習プロトタイプと測定することで観測をグループ化すること,(2)現在のクラスタ割り当てに従ってプロトタイプの集合を学習すること,の2つのステップを交互に行う。 実験により、CBMは一般的なビジュアルRLアルゴリズムのサンプル効率を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-02-12T13:27:34Z)
• A Clustering-guided Contrastive Fusion for Multi-view Representation Learning [7.630965478083513]
  本稿では、ビュー固有表現をビュー共通表現に融合する深層融合ネットワークを提案する。 また、ビュー共通表現とビュー固有表現を一致させる非対称なコントラスト戦略を設計する。 不完全な視点では,提案手法は競合相手よりもノイズ干渉に抵抗する。
  論文  参考訳（メタデータ） (2022-12-28T07:21:05Z)
• Tackling Visual Control via Multi-View Exploration Maximization [64.8463574294237]
  MEMは強化学習における多視点表現学習と報酬駆動探索を組み合わせた最初のアプローチである 我々は,DeepMind Control Suite と Procgen の様々なタスクにおける MEM の評価を行った。
  論文  参考訳（メタデータ） (2022-11-28T11:29:56Z)
• Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
  マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。 広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-01-28T13:07:11Z)
• Collaborative Attention Mechanism for Multi-View Action Recognition [75.33062629093054]
  本稿では,多視点行動認識問題を解決するための協調的注意機構(CAM)を提案する。 提案したCAMは,多視点間での注意差を検出し,フレームレベルの情報を適応的に統合し,相互に利益をもたらす。 4つのアクションデータセットの実験では、提案されたCAMは、ビュー毎により良い結果を得るとともに、マルチビューのパフォーマンスも向上する。
  論文  参考訳（メタデータ） (2020-09-14T17:33:10Z)
• Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
  我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。 マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
  論文  参考訳（メタデータ） (2020-07-14T17:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。