論文の概要: Distributed NeRF Learning for Collaborative Multi-Robot Perception

• arxiv url: http://arxiv.org/abs/2409.20289v1
• Date: Mon, 30 Sep 2024 13:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 10:12:47.512448
• Title: Distributed NeRF Learning for Collaborative Multi-Robot Perception
• Title（参考訳）: 協調型マルチロボット知覚のための分散NeRF学習
• Authors: Hongrui Zhao, Boris Ivanovic, Negar Mehr,
• Abstract要約: マルチエージェントシステムは、環境のより包括的なマッピング、より高速なカバレッジ、耐障害性の向上を提供することができる。 本稿では,RGB画像からニューラルレイディアンス場(NeRF)を総合的に学習してシーンを表現できる協調型マルチエージェント認識システムを提案する。 本手法の有効性は,挑戦的な実世界のシーンを含むデータセットに対する広範な実験を通して示す。
• 参考スコア（独自算出の注目度）: 16.353043979615496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective environment perception is crucial for enabling downstream robotic applications. Individual robotic agents often face occlusion and limited visibility issues, whereas multi-agent systems can offer a more comprehensive mapping of the environment, quicker coverage, and increased fault tolerance. In this paper, we propose a collaborative multi-agent perception system where agents collectively learn a neural radiance field (NeRF) from posed RGB images to represent a scene. Each agent processes its local sensory data and shares only its learned NeRF model with other agents, reducing communication overhead. Given NeRF's low memory footprint, this approach is well-suited for robotic systems with limited bandwidth, where transmitting all raw data is impractical. Our distributed learning framework ensures consistency across agents' local NeRF models, enabling convergence to a unified scene representation. We show the effectiveness of our method through an extensive set of experiments on datasets containing challenging real-world scenes, achieving performance comparable to centralized mapping of the environment where data is sent to a central server for processing. Additionally, we find that multi-agent learning provides regularization benefits, improving geometric consistency in scenarios with sparse input views. We show that in such scenarios, multi-agent mapping can even outperform centralized training.
• Abstract（参考訳）: 下流のロボットアプリケーションを実現するためには、効果的な環境認識が不可欠である。 個々のロボットエージェントは、閉塞性や視認性の問題に直面することが多いが、マルチエージェントシステムは、環境のより包括的なマッピング、より高速なカバレッジ、耐障害性の向上を提供することができる。 本稿では,RGB画像からニューラルレイディアンス場(NeRF)を総合的に学習し,シーンを表現できる協調型マルチエージェント認識システムを提案する。 各エージェントは局所的な知覚データを処理し、学習したNeRFモデルのみを他のエージェントと共有し、通信オーバーヘッドを低減する。 NeRFのメモリフットプリントが低いことを考えると、このアプローチは帯域幅が限られているロボットシステムに適している。 我々の分散学習フレームワークはエージェントのローカルNeRFモデル間の一貫性を確保し、統一されたシーン表現への収束を可能にする。 本研究では,本手法の有効性を示すために,課題のある実世界のシーンを含むデータセットの広範な実験を行い,データ処理のために中央サーバに送信される環境の集中型マッピングに匹敵する性能を実現する。 さらに、マルチエージェント学習は正規化の利点を提供し、スパース入力ビューのシナリオにおける幾何的整合性を改善する。 このようなシナリオでは、マルチエージェントマッピングは集中型トレーニングよりも優れています。

関連論文リスト

• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Optimizing Crowd-Aware Multi-Agent Path Finding through Local Communication with Graph Neural Networks [15.88107215224685]
  混在環境におけるマルチエージェントパス探索 (MAPF) は, 移動計画において困難な問題となる。 本稿では,この問題を解決するために,クラウド対応の分散強化学習手法であるCRAMPを紹介する。 CRAMPは, メースパンと衝突数で測定された溶液品質を最大59%改善し, 従来の方法と比較して最大35%改善した。
  論文  参考訳（メタデータ） (2023-09-19T03:02:43Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)
• Enhancing Multi-Robot Perception via Learned Data Association [37.866254392010454]
  本稿では,マルチロボット協調認識問題,特に分散セマンティックセグメンテーションにおけるマルチビューインフィル問題に対処する。 本稿では,ロボット群において各エージェントにデプロイ可能なニューラルネットワークであるMulti-Agent Infilling Networkを提案する。 具体的には、各ロボットが視覚情報を局所的に符号化・復号し、ニューラルメカニズムにより、不確実性を認識し、文脈に基づく中間特徴の交換を可能にする。
  論文  参考訳（メタデータ） (2021-07-01T22:45:26Z)
• Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
  グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。 当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。 我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-08T21:48:55Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。