論文の概要: Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

• arxiv url: http://arxiv.org/abs/2606.01947v1
• Date: Mon, 01 Jun 2026 09:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.683444
• Title: Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks
• Title（参考訳）: インスタンス分割タスクのための大規模事前学習モデルのパラメータ効率の良い微調整
• Authors: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann,
• Abstract要約: 本研究では,PEFT法,特にアダプタとローランド適応(LoRA)の有効性について検討する。 トランスブロック毎に2-3アダプタを使用すると、性能と効率のバランスが最適になる。 LoRAは、変形可能な注意に適用されると強力なパラメータ効率を示し、場合によってはアダプタ構成を超えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research and applications in artificial intelligence have recently shifted with the rise of large pretrained models, which deliver state-of-the-art results across numerous tasks. However, the substantial increase in parameters introduces a need for parameter-efficient training strategies. Despite significant advancements, limited research has explored parameter-efficient fine-tuning (PEFT) methods in the context of transformer-based models for instance segmentation. Addressing this gap, this study investigates the effectiveness of PEFT methods, specifically adapters and Low-Rank Adaptation (LoRA), applied to two models across four benchmark datasets. Integrating sequentially arranged adapter modules and applying LoRA to deformable attention--explored here for the first time--achieves competitive performance while fine-tuning only about 1-6% of model parameters, a marked improvement over the 40-55% required in traditional fine-tuning. Key findings indicate that using 2-3 adapters per transformer block offers an optimal balance of performance and efficiency. Furthermore, LoRA, exhibits strong parameter efficiency when applied to deformable attention, and in certain cases surpasses adapter configurations. These results show that the impact of PEFT techniques varies based on dataset complexity and model architecture, underscoring the importance of context-specific tuning. Overall, this work demonstrates the potential of PEFT to enable scalable, customizable, and computationally efficient transfer learning for instance segmentation tasks.
• Abstract（参考訳）: 人工知能の研究と応用は、多くのタスクにまたがって最先端の結果をもたらす大規模な事前訓練モデルの台頭とともに、最近シフトしている。 しかし、パラメータの大幅な増加は、パラメータ効率のトレーニング戦略の必要性をもたらす。 大幅な進歩にもかかわらず、限定的な研究は変圧器モデル(英語版)の事例セグメンテーション(英語版)の文脈におけるパラメータ効率の良い微調整法(PEFT)を探求している。 本研究は,PEFT法,特にアダプタとローランド適応(LoRA)の有効性を,4つのベンチマークデータセットの2つのモデルに適用した。 逐次的に配列されたアダプタモジュールとLoRAを変形可能なアテンションに応用し、競争性能を初めて探求し、モデルパラメータの約1～6%しか微調整していないが、従来の微調整で必要とされる40～55%よりも大幅に改善した。 キーとなる発見は、トランスブロック毎に2-3アダプタを使用することで、性能と効率のバランスが最適であることを示している。 さらに、LoRAは、変形可能な注意に応用した場合に強力なパラメータ効率を示し、場合によってはアダプタ構成を超越する。 これらの結果から,PEFT手法が与える影響は,データセットの複雑さやモデルアーキテクチャによって様々であり,文脈特化チューニングの重要性が強調されている。 全体として、この研究はPEFTがインスタンスセグメンテーションタスクのスケーラブルで、カスタマイズ可能で、計算効率の良い転送学習を可能にする可能性を実証している。

関連論文リスト

• TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models [4.092357804635167]
  本稿では,TLoRA+を事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。 提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
  論文  参考訳（メタデータ） (2026-04-15T00:30:57Z)
• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Advancing Parameter Efficiency in Fine-tuning via Representation Editing [41.81020951061438]
  我々はRepresentation EDiting (RED)というニューラルモデルのための新しい微調整手法を提案する。 REDは、スケーリングとバイアス処理の適用を通じて、いくつかのレイヤで生成された表現を修正します。 注目すべきは、REDは完全なパラメータの微調整と他のPEFT手法に匹敵する、あるいは優れている結果を達成することである。
  論文  参考訳（メタデータ） (2024-02-23T08:21:02Z)
• Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
  事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。 これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。 パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2024-02-03T19:12:20Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。