論文の概要: Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model

• arxiv url: http://arxiv.org/abs/2311.17112v2
• Date: Thu, 28 Mar 2024 16:51:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 21:22:07.742683
• Title: Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model
• Title（参考訳）: セグメンテーションモデルのためのクロスブロックオーケストレーションによるパラメータ効率的な微調整
• Authors: Zelin Peng, Zhengqin Xu, Zhilin Zeng, Lingxi Xie, Qi Tian, Wei Shen,
• Abstract要約: PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 81.55141188169621
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) is an effective methodology to unleash the potential of large foundation models in novel scenarios with limited training data. In the computer vision community, PEFT has shown effectiveness in image classification, but little research has studied its ability for image segmentation. Fine-tuning segmentation models usually require a heavier adjustment of parameters to align the proper projection directions in the parameter space for new scenarios. This raises a challenge to existing PEFT algorithms, as they often inject a limited number of individual parameters into each block, which prevents substantial adjustment of the projection direction of the parameter space due to the limitation of Hidden Markov Chain along blocks. In this paper, we equip PEFT with a cross-block orchestration mechanism to enable the adaptation of the Segment Anything Model (SAM) to various downstream scenarios. We introduce a novel inter-block communication module, which integrates a learnable relation matrix to facilitate communication among different coefficient sets of each PEFT block's parameter space. Moreover, we propose an intra-block enhancement module, which introduces a linear projection head whose weights are generated from a hyper-complex layer, further enhancing the impact of the adjustment of projection directions on the entire parameter space. Extensive experiments on diverse benchmarks demonstrate that our proposed approach consistently improves the segmentation performance significantly on novel scenarios with only around 1K additional parameters.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、限られたトレーニングデータを持つ新しいシナリオにおいて、大きな基礎モデルの可能性を解き放つ効果的な手法である。 コンピュータビジョンのコミュニティでは、PEFTは画像分類において有効性を示しているが、画像分割の能力についてはほとんど研究されていない。 微調整セグメンテーションモデルは通常、新しいシナリオのためにパラメータ空間の適切な射影方向を調整するためにパラメータのより重い調整を必要とする。 これは既存のPEFTアルゴリズムに挑戦し、各ブロックに限られた数の個々のパラメータを注入することで、ブロックに沿った隠れマルコフ連鎖の制限によるパラメータ空間の射影方向の相当な調整を防止する。 本稿では,PEFTにクロスブロックオーケストレーション機構を組み,Segment Anything Model(SAM)の下流シナリオへの適応を可能にする。 本稿では,各PEFTブロックのパラメータ空間の係数集合間の通信を容易にするために,学習可能な関係行列を統合したブロック間通信モジュールを提案する。 さらに,超複素層から重みが生じる線形射影ヘッドを導入し,パラメータ空間全体に対する射影方向の調整の影響をさらに高めるブロック内拡張モジュールを提案する。 多様なベンチマーク実験により,提案手法は,約1K以上のパラメータを持つ新規シナリオにおいて,セグメンテーション性能を大幅に向上することを示した。

関連論文リスト

• Mitigating Parameter Degeneracy using Joint Conditional Diffusion Model for WECC Composite Load Model in Power Systems [2.7212274374272543]
  連立条件拡散モデルに基づく逆問題解法(JCDI)を開発した。 JCDIは、パラメータの一般化性を改善するために、マルチイベント観測を同時に入力するジョイントコンディショニングアーキテクチャを組み込んでいる。 WECC CLMのシミュレーション研究により、提案したJCDIは縮退パラメータの不確かさを効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-11-15T18:53:08Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。