論文の概要: IV-tuning: Parameter-Efficient Transfer Learning for Infrared-Visible Tasks

• arxiv url: http://arxiv.org/abs/2412.16654v1
• Date: Sat, 21 Dec 2024 14:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:42:48.034246
• Title: IV-tuning: Parameter-Efficient Transfer Learning for Infrared-Visible Tasks
• Title（参考訳）: IV-tuning:赤外可視タスクのためのパラメータ効率な伝達学習
• Authors: Yaming Zhang, Chenqiang Gao, Fangcen Liu, Junjie Guo, Lan Wang, Xinggan Peng, Deyu Meng,
• Abstract要約: セマンティックセグメンテーションやオブジェクト検出などの赤外線可視(IR-VIS)タスクは、赤外線と可視モードを組み合わせることで大きな恩恵を受ける。 Vision Foundation Models (VFM) の一般的な表現を継承するために、タスク固有のデュアルブランチネットワークが設計され、下流のデータセットで完全に微調整される。 パラメータ効率のよいVFMを多種多様な赤外可視下流タスクに活用するための,新しい,汎用的な微調整手法"IV-tuning"を提案する。
• 参考スコア（独自算出の注目度）: 47.08388430506686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared-visible (IR-VIS) tasks, such as semantic segmentation and object detection, greatly benefit from the advantage of combining infrared and visible modalities. To inherit the general representations of the Vision Foundation Models (VFMs), task-specific dual-branch networks are designed and fully fine-tuned on downstream datasets. Although effective, this manner lacks generality and is sub-optimal due to the scarcity of downstream infrared-visible datasets and limited transferability. In this paper, we propose a novel and general fine-tuning approach, namely "IV-tuning", to parameter-efficiently harness VFMs for various infrared-visible downstream tasks. At its core, IV-tuning freezes pre-trained visible-based VFMs and integrates modal-specific prompts with adapters within the backbone, bridging the gap between VFMs and downstream infrared-visible tasks while simultaneously learning the complementarity between different modalities. By fine-tuning approximately 3% of the backbone parameters, IV-tuning outperforms full fine-tuning across various baselines in infrared-visible semantic segmentation and object detection, as well as previous state-of-the-art methods. Extensive experiments across various settings demonstrate that IV-tuning achieves superior performance with fewer training parameters, providing a good alternative to full fine-tuning and a novel method of extending visible-based models for infrared-visible tasks. The code is available at https://github.com/Yummy198913/IV-tuning.
• Abstract（参考訳）: セマンティックセグメンテーションやオブジェクト検出のような赤外線可視(IR-VIS)タスクは、赤外線と可視モードを組み合わせる利点から大きな恩恵を受ける。 Vision Foundation Models (VFM) の一般的な表現を継承するために、タスク固有のデュアルブランチネットワークが設計され、下流のデータセットで完全に微調整される。 効果はあるものの、この方法は一般性に欠け、下流の赤外線可視データセットの不足と限られた転送可能性のため、準最適である。 本稿では,様々な赤外可視下流タスクにパラメータ効率よくVFMを利用するための,新しい,汎用的な微調整手法"IV-tuning"を提案する。 IVチューニングは、トレーニング済みの可視VFMを凍結し、モダル特異的プロンプトをバックボーン内のアダプタと統合し、異なるモダリティ間の相補性を同時に学習しながら、VFMと下流の赤外線可視タスクのギャップを埋める。 約3%のバックボーンパラメータを微調整することにより、IVチューニングは、赤外線可視セマンティックセグメンテーションとオブジェクト検出、および従来の最先端手法において、様々なベースラインにわたって完全な微調整を行う。 様々な設定にわたる広範囲な実験により、IVチューニングはトレーニングパラメータを少なくして優れたパフォーマンスを実現し、フル微調整に代わる優れた代替手段を提供し、赤外線可視タスクの可視モデルを拡張する新しい方法を提供する。 コードはhttps://github.com/Yummy 198913/IV-tuning.comで公開されている。

関連論文リスト

• Vision-Centric Representation-Efficient Fine-Tuning for Robust Universal Foreground Segmentation [5.326302374594885]
  前景のセグメンテーションはシーン理解に不可欠であるが、視覚基盤モデル(VFM)のパラメータ効率の良い微調整(PEFT)は複雑なシナリオでしばしば失敗する。 LSR-ST(Ladder Shape-bias Representation Side-tuning)を提案する。
  論文  参考訳（メタデータ） (2025-04-20T04:12:38Z)
• DiffV2IR: Visible-to-Infrared Diffusion Model via Vision-Language Understanding [43.85632218045282]
  DiffV2IRは、プログレッシブラーニングモジュール(PLM)と視覚言語理解モジュール(VLUM)の2つの要素からなる画像翻訳のための新しいフレームワークである。 PLMは、多段階知識学習を活用して、フルレンジからターゲット波長への赤外線遷移を実現する適応拡散モデルアーキテクチャを備えている。 VLUMにはビジョン・ランゲージ理解が組み込まれており、様々な環境条件下で、50万枚の赤外線画像を含む大きな赤外線データセットIR-500Kも収集している。
  論文  参考訳（メタデータ） (2025-03-24T17:58:09Z)
• BRIGHT-VO: Brightness-Guided Hybrid Transformer for Visual Odometry with Multi-modality Refinement Module [11.898515581215708]
  視覚計測(VO)は、自律運転、ロボットナビゲーション、その他の関連するタスクにおいて重要な役割を果たす。 本稿では,トランスフォーマーアーキテクチャに基づく新しいVOモデルであるBrightVOを紹介し,フロントエンドの視覚的特徴抽出を行う。 ポーズグラフ最適化を用いて、このモジュールは、エラーを減らし、精度とロバスト性の両方を改善するために、ポーズ推定を反復的に洗練する。
  論文  参考訳（メタデータ） (2025-01-15T08:50:52Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• HAPNet: Toward Superior RGB-Thermal Scene Parsing via Hybrid, Asymmetric, and Progressive Heterogeneous Feature Fusion [15.538174593176166]
  本研究では,RGB熱水シーン解析のためのVFM機能をフル活用するための実現可能な戦略について検討する。 具体的には、VFMと畳み込みニューラルネットワークの両方を組み込んだハイブリッド非対称エンコーダを設計する。 この設計により、相補的な異種特徴のより効果的な抽出が可能となり、後に二重経路の進行的な方法で融合される。
  論文  参考訳（メタデータ） (2024-04-04T15:31:11Z)
• ViTGaze: Gaze Following with Interaction Features in Vision Transformers [42.08842391756614]
  本稿では, ViTGaze という新しい単一モダリティ・ギャラクシー・フレームワークを紹介する。 従来の手法とは対照的に、主に強力なエンコーダに基づく新しい視線追跡フレームワークを作成する。 本手法は,すべての単一モダリティ手法において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-03-19T14:45:17Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification [43.05147831905626]
  本稿では,トランスファーリング・モダリティを意識した歩行者注意学習(TMPA)モデルを提案する。 TMPAは、欠落したモダリティ固有の特徴を効率的に補うために歩行者地域に焦点を当てている。 ベンチマークSYSU-MM01とRegDBデータセットを用いて実験を行い,提案したTMPAモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-12T07:15:17Z)
• Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing [19.142582966452935]
  RGB、赤外線(IR)、深度によるマルチモーダルFASのためのViTにおける3つの重要な要素(入力、事前学習、微調整)について検討した。 マルチモーダルFAS自己教師型事前学習のためのモダリティ非対称マスク付きオートエンコーダ (M$2$A$2$E) を提案する。
  論文  参考訳（メタデータ） (2023-02-11T17:02:34Z)
• Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
  本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。 提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-10-03T09:54:39Z)
• CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification [79.84912525821255]
  Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。 既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。 ニュートラルかつ差別的な特徴学習のための新しいサイクル構築型ネットワークであるCycleTransを提案する。
  論文  参考訳（メタデータ） (2022-08-21T08:41:40Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)
• CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models [101.5066760592534]
  我々は、視覚言語モデル(VL-PTM)をチューニングするための新しいパラダイムであるCPT(Cross-modal Prompt Tuning)を提案する。 CPTは、画像とテキストにおける色に基づく共参照マーカーを用いて、視覚的な接点をブランクの補間問題に修正し、ギャップを最大に軽減する。 総合的な実験結果から、VL-PTMの調整は、細調整されたVL-PTMよりも大きなマージンで優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-24T08:07:29Z)
• Neural Feature Search for RGB-Infrared Person Re-Identification [3.499870393443268]
  我々はニューラル・フィーチャー・サーチ(NFS)と呼ばれる一般的なパラダイムを研究し、特徴選択のプロセスを自動化する。 NFSは、二重レベルの特徴探索空間と微分可能な探索戦略を組み合わせて、粗粒度チャネルと細粒度空間画素のアイデンティティ関連キューを共同で選択する。 本手法は,主流ベンチマークにおける最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-04-06T08:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。