論文の概要: Self-Auditing Parameter-Efficient Fine-Tuning for Few-Shot 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2603.05822v1
• Date: Fri, 06 Mar 2026 02:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.889326
• Title: Self-Auditing Parameter-Efficient Fine-Tuning for Few-Shot 3D Medical Image Segmentation
• Title（参考訳）: ファウショット3次元医用画像分割のための自己監査パラメータ効率の良いファインチューニング
• Authors: Son Thai Ly, Hien V. Nguyen,
• Abstract要約: SEA-PEFTは、微調整時に解決したオンラインアロケーション問題としてアダプタ構成を扱う。 SEA-PEFTは、アクティブアダプタを訓練するサーチオーディットアルループを使用し、各アダプタのDiceユーティリティを一時的にトグルオフして推定し、パラメータ予算の下でアクティブセットを再選択する。 TotalSegmentatorとFLARE'22では、SEA-PEFTは最強の固定位相PEFT平滑化よりも平均Diceを2.4～2.8ポイント改善している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting foundation models to new clinical sites remains challenging in practice. Domain shift and scarce annotations must be handled by experts, yet many clinical groups do not have ready access to skilled AI engineers to tune adapter designs and training recipes. As a result, adaptation cycles can stretch from weeks to months, particularly in few-shot settings. Existing PEFT methods either require manual adapter configuration or automated searches that are computationally infeasible in few-shot 3D settings. We propose SEA-PEFT (SElf-Auditing Parameter-Efficient Fine-Tuning) to automate this process. SEA-PEFT treats adapter configuration as an online allocation problem solved during fine-tuning rather than through manual, fixed-topology choices. SEA-PEFT uses a search-audit-allocate loop that trains active adapters, estimates each adapter's Dice utility by momentarily toggling it off, and then reselects the active set under a parameter budget using a greedy knapsack allocator. Exponential Moving Average and Interquartile Range smoothing, together with a Finite-State Ranking controller, stabilize the loop and improve reliability in high-noise few-shot regimes. On TotalSegmentator and FLARE'22, SEA-PEFT improves mean Dice by 2.4--2.8 points over the strongest fixed-topology PEFT baselines across 1/5/10-shot settings while training <1% of parameters. For reproducibility purposes, we made our code publicly available at https://github.com/tsly123/SEA_PEFT
• Abstract（参考訳）: 新しい臨床現場に基礎モデルを適用することは、実際は困難である。 ドメインシフトと希少なアノテーションは専門家が扱う必要があるが、多くの臨床グループは、アダプタの設計やレシピのトレーニングを行うための熟練したAIエンジニアにアクセスできない。 その結果、適応サイクルは数週間から数ヶ月、特に数ショット設定で延ばすことができる。 既存のPEFTメソッドでは、手動のアダプタ設定や、数ショットの3D設定で計算不能な自動検索が必要になる。 このプロセスを自動化するためのSEA-PEFT(Self-Auditing Parameter-Efficient Fine-Tuning)を提案する。 SEA-PEFTは、手動の固定位相選択ではなく、微調整中に解決したオンラインアロケーション問題としてアダプタ構成を扱う。 SEA-PEFTは、アクティブアダプターを訓練するサーチオーディ・アロケートループを使用し、各アダプタのDiceユーティリティを一時的にトグルオフすることで推定し、greedy knapsackアロケータを使用してパラメータ予算の下でアクティブセットを再選択する。 指数移動平均値と周波数間隔平滑化は有限状態ランク制御器とともにループを安定化し、高ノイズ数ショット方式の信頼性を向上させる。 TotalSegmentatorとFLARE'22では、SEA-PEFTは平均Diceを2.4--2.8ポイント改善し、1/5/10ショット設定のPEFTベースラインを1/1%のパラメータでトレーニングした。 再現性のために、私たちはコードをhttps://github.com/tsly123/SEA_PEFTで公開しました。

関連論文リスト

• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models [28.79157031663951]
  We introduced WeatherPEFT, a novel PEFT framework for Weather Foundation Models (WFMs) Task-Tu Dynamic Prompting (TTu) は、内部および外部パターン抽出によってトレーニング済みのバックボーンの入力トークンにエンコーダ内の埋め込み重みを注入する。 フィッシャーガイド適応選択 (Fisher-Guided Adaptive Selection, SFAS) は、訓練済みの知識を保ちながら、その選択を安定化させ、最もタスククリティカルなランダム性を特定する。 既存のPEFT法ではフルチューニングとWeatherPEFT性能が同等であるのに対し,既存のPEFT法では大きな差がみられ,WeatherPEFTの有効性と効率が示された。
  論文  参考訳（メタデータ） (2025-09-26T07:54:05Z)
• Don't be lazy: CompleteP enables compute-efficient deep transformers [50.85418589942566]
  いくつかのパラメータ化はモデル深さの変化に対して最適なベースHPの転送に失敗する。 遅延学習システムにはまだパラメータ化が存在する可能性を示す理論を開発する。 我々は、Deep-wise HP Transferと非遅延学習の両方をすべての層で実現するCompletePと呼ぶパラメータ化を特定し、採用する。
  論文  参考訳（メタデータ） (2025-05-02T22:45:14Z)
• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts [4.5558042369389105]
  TT-LoRA MoEはトレーニングを2つの異なる最適化段階に分解する。 まず、軽量かつテンソル化低ランクアダプタ(TT-LoRAエキスパート)を個別に訓練する。 その後、これらの専門家アダプタは凍結状態のままであり、マルチタスク設定でタスク間干渉を排除し、忘れる。 個別に訓練されたスパースMOEルータは、ベースモデル表現を動的に活用し、推論時に入力ごとに正確に1つの特別なアダプタを選択する。 総合的な実験により、我々のアーキテクチャは低ランクアダプタのメモリ効率を保ち、大きなエキスパートプールにシームレスにスケールし、堅牢なタスクレベルの最適化を実現する。
  論文  参考訳（メタデータ） (2025-04-29T21:46:43Z)
• FISH-Tuning: Enhancing PEFT Methods with Fisher Information [3.9274736061387854]
  FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
  論文  参考訳（メタデータ） (2025-04-05T04:05:55Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。