論文の概要: Fisher-Guided Progressive Parameter Selection for Adaptive Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.10196v1
• Date: Mon, 08 Jun 2026 21:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.201785
• Title: Fisher-Guided Progressive Parameter Selection for Adaptive Fine-Tuning
• Title（参考訳）: アダプティブファインチューニングのためのフィッシャー誘導プログレッシブパラメータ選択
• Authors: Ghodsiyeh Rostami, Po-Han Chen, Mahdi S. Hosseini,
• Abstract要約: TextbfFisherAdapTuneはFisherジオメトリの時間的ドリフトを追跡することでパラメータ群を選択するFisher-Guided Adaptive Fine-Tuningフレームワークである。 我々は,下流セグメンテーションタスクに対するアプローチを評価し,FisherAdapTuneが複数設定で分散性能とゼロショット転送を改善したことを示す。
• 参考スコア（独自算出の注目度）: 5.8006596438443125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) aims to adapt pretrained models with a small trainable parameter subset, however, most existing methods choose this subset from fixed architectural heuristics rather than using dynamic, task-aware criteria. We introduce \textbf{FisherAdapTune}, a Fisher-guided Adaptive Fine-Tuning framework that progressively selects parameter groups by tracking the temporal drift of their Fisher geometry. Starting from a PAC-Bayesian view of fine-tuning, we decompose the generalization error bound into Fisher-weighted update costs and show that parameter groups whose curvature contribution has stabilized can be frozen to reduce the error bound without interrupting the remaining adaptation dynamics. FisherAdapTune formulates this criterion with a scale-invariant Jensen-Shannon distance between consecutive Fisher distributions, yielding an adaptive active parameter set. We evaluate our approach on a downstream segmentation task, and results show FisherAdapTune improves the in-distribution performance and zero-shot transfer in multiple settings, validating that Fisher structural drift is a useful signal for efficient, task-aware adaptation. We release our \href{https://github.com/AtlasAnalyticsLab/FisherAdapTune}{code} publicly to enable further application of our proposed approach.
• Abstract（参考訳）: パラメータ効率の微調整(PEFT)は、トレーニング可能なパラメータサブセットの少ない事前訓練モデルに適応することを目的としているが、既存のほとんどの手法では、動的なタスク認識基準を使用するのではなく、固定されたアーキテクチャヒューリスティックからこのサブセットを選択する。 そこで我々は, パラメータ群を段階的に選択するFisher-Guided Adaptive Fine-Tuningフレームワークである‘textbf{FisherAdapTune}を紹介した。 PAC-Bayesianによる微調整の視点から、一般化誤差をフィッシャー重み付け更新コストに分解し、曲率寄与が安定化したパラメータ群を凍結することにより、残りの適応力学を中断することなく誤差境界を低減できることを示す。 FisherAdapTuneはこの基準を、連続するフィッシャー分布の間のスケール不変のJensen-Shannon距離で定式化し、適応的なアクティブパラメータセットを生成する。 我々は,下流セグメンテーションタスクに対するアプローチを評価した結果,FisherAdapTuneは複数の設定で分散性能とゼロショット転送を改善し,Fisher構造ドリフトが効率的なタスク認識適応のための有用な信号であることを検証した。 私たちは、提案されたアプローチのさらなる適用を可能にするために、我々の \href{https://github.com/AtlasAnalyticsLab/FisherAdapTune}{code} を公開しています。

関連論文リスト

• Fisher-Preserving Guidance: Training-Free Manifold Constraints for Safe Diffusion Control [34.600386598224325]
  拡散モデルは視覚ナビゲーションにおけるウェイポイント予測に有効であるが、標準サンプリングとテスト時間ガイダンスは信頼性の低い軌道を生成することができる。 本研究では,大規模な漁獲量削減を目的としたトレーニングフリー推論手法である,外部製品スパン投影による魚介類保存誘導手法を提案する。 提案手法は,低ランクのジャコビアン因子分解によるフィッシャー保存更新を計算し,ステップ毎に1回だけバックワードパスを要し,リアルタイム使用を可能にする。
  論文  参考訳（メタデータ） (2026-05-28T13:47:31Z)
• Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation [3.5808917363708743]
  完全に凍結したモデル体制下で, 数ショット分類のための基礎モデルの試験時間適応について検討した。 本稿では,エンコーダによって誘導される潜伏埋め込み分布に対して,測定値の変更を行うことにより,新しいタスクに予測を適応させる,最初のトレーニング不要推論手法を提案する。
  論文  参考訳（メタデータ） (2026-02-02T18:17:29Z)
• FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
  我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。 FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
  論文  参考訳（メタデータ） (2026-01-29T14:05:04Z)
• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• FISH-Tuning: Enhancing PEFT Methods with Fisher Information [3.9274736061387854]
  FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
  論文  参考訳（メタデータ） (2025-04-05T04:05:55Z)
• FisherTune: Fisher-Guided Robust Tuning of Vision Foundation Models for Domain Generalized Segmentation [65.93276461982093]
  既存のアプローチでは、パラメータを選択的に微調整するか、VFMを凍結し、アダプタのみを更新する。 我々は、Domain-Related Fisher Information Matrix (DR-FIM) によって誘導される堅牢な微調整法である textbfFisherTune を提案する。 DR-FIMはタスクやドメイン間でパラメータの感度を測定し、汎用性を維持し、DGSS適応性を高めるための選択的更新を可能にする。
  論文  参考訳（メタデータ） (2025-03-23T04:47:15Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。