論文の概要: Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation

• arxiv url: http://arxiv.org/abs/2501.08580v1
• Date: Wed, 15 Jan 2025 05:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 16:46:28.35611
• Title: Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation
• Title（参考訳）: 画像分割参照のための高精細接続型パラメータ効率チューニング
• Authors: Jiaqi Huang, Zunnan Xu, Ting Liu, Yong Liu, Haonan Han, Kehong Yuan, Xiu Li,
• Abstract要約: DETRISは、低ランクな視覚的特徴伝達を強化するために設計されたパラメータ効率のチューニングフレームワークである。 我々の単純で効率的なアプローチは、最先端のメソッドを大きく上回り、0.9%から1.8%のバックボーンパラメーターが更新される。
• 参考スコア（独自算出の注目度）: 30.912818564963512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the domain of computer vision, Parameter-Efficient Tuning (PET) is increasingly replacing the traditional paradigm of pre-training followed by full fine-tuning. PET is particularly favored for its effectiveness in large foundation models, as it streamlines transfer learning costs and optimizes hardware utilization. However, the current PET methods are mainly designed for single-modal optimization. While some pioneering studies have undertaken preliminary explorations, they still remain at the level of aligned encoders (e.g., CLIP) and lack exploration of misaligned encoders. These methods show sub-optimal performance with misaligned encoders, as they fail to effectively align the multimodal features during fine-tuning. In this paper, we introduce DETRIS, a parameter-efficient tuning framework designed to enhance low-rank visual feature propagation by establishing dense interconnections between each layer and all preceding layers, which enables effective cross-modal feature interaction and adaptation to misaligned encoders. We also suggest using text adapters to improve textual features. Our simple yet efficient approach greatly surpasses state-of-the-art methods with 0.9% to 1.8% backbone parameter updates, evaluated on challenging benchmarks. Our project is available at \url{https://github.com/jiaqihuang01/DETRIS}.
• Abstract（参考訳）: コンピュータビジョンの分野では、パラメータ効率チューニング(PET)が従来の事前学習のパラダイムに取って代わり、さらに完全な微調整が進んでいる。 PETは、転送学習コストを合理化し、ハードウェア利用を最適化するため、大規模な基盤モデルにおいてその有効性に特に好まれる。 しかし、現在のPET法は主に単一モード最適化のために設計されている。 いくつかの先駆的な研究は予備的な調査を行ってきたが、いまだに整列エンコーダ(例えばCLIP)のレベルに留まり、整列エンコーダの探索を欠いている。 これらの手法は、微調整中にマルチモーダルな特徴を効果的に整列できないため、不整合エンコーダによる準最適性能を示す。 本稿では,各層と先行層間の密接な相互接続を確立することで,低ランクな視覚特徴の伝播を促進するために設計されたパラメータ効率のチューニングフレームワークDETRISについて紹介する。 また、テキストアダプタを使ってテキスト機能を改善することも提案する。 我々の単純かつ効率的なアプローチは、挑戦的なベンチマークで評価された、0.9%から1.8%のバックボーンパラメータの更新で最先端のメソッドを大幅に上回っている。 我々のプロジェクトは \url{https://github.com/jiaqihuang01/DETRIS} で利用可能です。

関連論文リスト

• Faster Parameter-Efficient Tuning with Token Redundancy Reduction [38.47377525427411]
  遅延効率チューニング(PET)は、少数のパラメータを学習することで、事前訓練された基礎モデルを下流タスクに転送することを目的としている。 PETは、訓練済みのモデル容量が指数関数的に増加するにも拘わらず、各タスクのストレージと転送コストを著しく削減する。 ほとんどのPET法は、大きなバックボーンモデルの推論を継承し、しばしば計算オーバーヘッドを増大させる。
  論文  参考訳（メタデータ） (2025-03-26T07:15:08Z)
• Efficient Distributed Optimization under Heavy-Tailed Noise [32.96984712007111]
  TailOPTは、潜在的に勾配のばらつきと局所的な更新を伴うヘビーテールノイズに対処するように設計されている。 Bi2Clip$は、インナーとアウターの両方でコーディネートワイドクリッピングを行い、アダプティブライクなパフォーマンスを実現する。 この$Bi2Clip$は、いくつかの言語タスクやモデルにおいて優れたパフォーマンスを示し、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-02-06T15:47:18Z)
• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
  ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-24T14:51:01Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。