論文の概要: VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition

• arxiv url: http://arxiv.org/abs/2412.20064v1
• Date: Sat, 28 Dec 2024 07:38:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:56.017215
• Title: VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition
• Title（参考訳）: VELoRA: 効率的なRGBイベント認識のための低ランク適応手法
• Authors: Lan Chen, Haoxiang Yang, Pengpeng Shao, Haoyu Song, Xiao Wang, Zhicheng Zhao, Yaowei Wang, Yonghong Tian,
• Abstract要約: 本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。 また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。 ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
• 参考スコア（独自算出の注目度）: 54.27379947727035
• License:
• Abstract: Pattern recognition leveraging both RGB and Event cameras can significantly enhance performance by deploying deep neural networks that utilize a fine-tuning strategy. Inspired by the successful application of large models, the introduction of such large models can also be considered to further enhance the performance of multi-modal tasks. However, fully fine-tuning these models leads to inefficiency and lightweight fine-tuning methods such as LoRA and Adapter have been proposed to achieve a better balance between efficiency and performance. To our knowledge, there is currently no work that has conducted parameter-efficient fine-tuning (PEFT) for RGB-Event recognition based on pre-trained foundation models. To address this issue, this paper proposes a novel PEFT strategy to adapt the pre-trained foundation vision models for the RGB-Event-based classification. Specifically, given the RGB frames and event streams, we extract the RGB and event features based on the vision foundation model ViT with a modality-specific LoRA tuning strategy. The frame difference of the dual modalities is also considered to capture the motion cues via the frame difference backbone network. These features are concatenated and fed into high-level Transformer layers for efficient multi-modal feature learning via modality-shared LoRA tuning. Finally, we concatenate these features and feed them into a classification head to achieve efficient fine-tuning. The source code and pre-trained models will be released on \url{https://github.com/Event-AHU/VELoRA}.
• Abstract（参考訳）: RGBとイベントカメラの両方を活用するパターン認識は、微調整戦略を利用するディープニューラルネットワークをデプロイすることで、パフォーマンスを大幅に向上させることができる。 大規模モデルの適用が成功したことに触発されて、そのような大規模モデルの導入は、マルチモーダルタスクの性能をさらに向上させると考えられる。 しかし、これらのモデルを完全に微調整することで、効率と性能のバランスを改善するために、LoRAやAdapterのような非効率で軽量な微調整法が提案されている。 我々の知る限り、現在、事前訓練された基礎モデルに基づくRGB-Event認識のためのパラメータ効率細調整(PEFT)を行う作業は行われていない。 そこで本研究では,RGB-Event に基づく分類において,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。 具体的には、RGBフレームとイベントストリームを考慮し、モダリティ固有のLoRAチューニング戦略を用いて、視覚基盤モデルViTに基づいてRGBとイベントの特徴を抽出する。 また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。 これらの特徴は、モダリティ共有LoRAチューニングによる効率的なマルチモーダル特徴学習のために、高レベルトランスフォーマー層に結合され、供給される。 最後に、これらの特徴を結合し、それらを分類ヘッドに供給し、効率的な微調整を実現する。 ソースコードと事前トレーニングされたモデルは、 \url{https://github.com/Event-AHU/VELoRA}でリリースされる。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• UniRGB-IR: A Unified Framework for RGB-Infrared Semantic Tasks via Adapter Tuning [17.36726475620881]
  我々は、RGB-IRセマンティックタスクを統合するために、UniRGB-IRと呼ばれる汎用的で効率的なフレームワークを提案する。 よりリッチなRGB-IR機能を事前学習基盤モデルに効率的に導入する新しいアダプタを開発した。 様々なRGB-IRダウンストリームタスクに対する実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:21:57Z)
• Tensor Factorization for Leveraging Cross-Modal Knowledge in Data-Constrained Infrared Object Detection [22.60228799622782]
  赤外線画像における物体検出のボトルネックは、十分なラベル付きトレーニングデータがないことである。 我々は、RGBモードにおけるモデル性能を保ちながら、RGBモードからオブジェクト検出器をIRモードにスケールするために、RGBモードからの手がかりを活用しようとしている。 まず、これらの因子行列をRGBモードで事前トレーニングし、多くのトレーニングデータが存在すると仮定した後、IRモードでトレーニングするためのトレーニング可能なパラメータをわずかに増やして過度な適合を避ける。
  論文  参考訳（メタデータ） (2023-09-28T16:55:52Z)
• SSTFormer: Bridging Spiking Neural Network and Memory Support Transformer for Frame-Event based Recognition [42.118434116034194]
  本稿では,RGBフレームとイベントストリームを同時に融合してパターンを認識することを提案する。 RGB-Eventベースの分類データセットが不足しているため、大規模なPokerEventデータセットも提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:15:35Z)
• CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
  本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。 我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
  論文  参考訳（メタデータ） (2023-02-13T07:09:45Z)
• Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
  本研究では,Residual Local Feature Network (RLFN)を提案する。 主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。 さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
  論文  参考訳（メタデータ） (2022-05-16T08:46:34Z)
• Middle-level Fusion for Lightweight RGB-D Salient Object Detection [81.43951906434175]
  本稿では,新しい軽量RGB-D SODモデルについて述べる。 中層核融合構造に IMFF および L モジュールが組み込まれているため,提案モデルは3.9M のパラメータしか持たず,33 FPS で動作する。 いくつかのベンチマークデータセットによる実験結果から,提案手法の有効性と優位性を検証した。
  論文  参考訳（メタデータ） (2021-04-23T11:37:15Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。