論文の概要: CoPEFT: Fast Adaptation Framework for Multi-Agent Collaborative Perception with Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.10705v1
• Date: Sat, 15 Feb 2025 07:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:03.371008
• Title: CoPEFT: Fast Adaptation Framework for Multi-Agent Collaborative Perception with Parameter-Efficient Fine-Tuning
• Title（参考訳）: CoPEFT:パラメータ効率の良いファインチューニングによる多エージェント協調認識のための高速適応フレームワーク
• Authors: Quanmin Wei, Penglin Dai, Wei Li, Bingyi Liu, Xiao Wu,
• Abstract要約: 堅牢な協調認識モデルをトレーニングするには、すべての可能なコラボレーションシナリオをカバーする十分なトレーニングデータを集める必要がある。 ドメイン適応のような既存の手法は、トレーニング段階でデプロイメントデータを公開することでこの問題を軽減するが、高いトレーニングコストがかかる。 低コストで新しい展開環境に協調認識モデルを適用するための軽量なフレームワークであるCoPEFTを提案する。
• 参考スコア（独自算出の注目度）: 9.161215048625172
• License:
• Abstract: Multi-agent collaborative perception is expected to significantly improve perception performance by overcoming the limitations of single-agent perception through exchanging complementary information. However, training a robust collaborative perception model requires collecting sufficient training data that covers all possible collaboration scenarios, which is impractical due to intolerable deployment costs. Hence, the trained model is not robust against new traffic scenarios with inconsistent data distribution and fundamentally restricts its real-world applicability. Further, existing methods, such as domain adaptation, have mitigated this issue by exposing the deployment data during the training stage but incur a high training cost, which is infeasible for resource-constrained agents. In this paper, we propose a Parameter-Efficient Fine-Tuning-based lightweight framework, CoPEFT, for fast adapting a trained collaborative perception model to new deployment environments under low-cost conditions. CoPEFT develops a Collaboration Adapter and Agent Prompt to perform macro-level and micro-level adaptations separately. Specifically, the Collaboration Adapter utilizes the inherent knowledge from training data and limited deployment data to adapt the feature map to new data distribution. The Agent Prompt further enhances the Collaboration Adapter by inserting fine-grained contextual information about the environment. Extensive experiments demonstrate that our CoPEFT surpasses existing methods with less than 1\% trainable parameters, proving the effectiveness and efficiency of our proposed method.
• Abstract（参考訳）: 多エージェント協調知覚は、相補的な情報を交換することで、単一エージェント認識の限界を克服し、認識性能を著しく向上させることが期待されている。 しかしながら、堅牢な協調認識モデルのトレーニングには、不可能なデプロイメントコストのために現実的ではない、すべての可能なコラボレーションシナリオをカバーする十分なトレーニングデータを集める必要がある。 したがって、トレーニングされたモデルは、一貫性のないデータ分散を伴う新しいトラフィックシナリオに対して堅牢ではなく、その現実の応用性を根本的に制限する。 さらに、ドメイン適応のような既存の手法は、トレーニング期間中に配置データを公開することによってこの問題を軽減するが、リソース制約のあるエージェントでは不可能な高いトレーニングコストを発生させる。 本稿では,パラメータ効率の良いファインチューニング型軽量フレームワークであるCoPEFTを提案する。 CoPEFTは、マクロレベルの適応とマイクロレベルの適応を別々に行うためのコラボレーションアダプタとエージェントプロンプトを開発した。 特に、Collaboration Adapterは、トレーニングデータと限られたデプロイメントデータから固有の知識を活用して、フィーチャーマップを新しいデータ分散に適応させる。 Agent Promptは、環境に関するきめ細かいコンテキスト情報を挿入することで、コラボレーションアダプタをさらに強化する。 大規模実験により,提案手法の有効性と効率性を実証し,訓練可能なパラメータが 1 % 未満の既存手法を超越した結果が得られた。

関連論文リスト

• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding [21.76802204235636]
  本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。 REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。 同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
  論文  参考訳（メタデータ） (2023-10-13T10:48:28Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive Pruning [16.785573286753742]
  本稿では,AdaptCLという新しい協調学習フレームワークを提案する。 すべてのワーカ(データホルダ)は、機能適応型プルーンドモデルを備えて、最も高速なワーカとほぼ同じ更新時間を達成する。 AdaptCLは平均して41%以上の時間節約を実現し、低異種環境における精度を向上させる。
  論文  参考訳（メタデータ） (2021-06-27T02:41:19Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。