論文の概要: Reducing the Adaptation Gap Through Reachable Fisher Geometry
- arxiv url: http://arxiv.org/abs/2609.36329v1
- Date: Mon, 28 Sep 2026 22:01:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.039693
- Title: Reducing the Adaptation Gap Through Reachable Fisher Geometry
- Title（参考訳）: 到達可能な漁業形状による適応ギャップの低減
- Abstract要約: 我々は、その痕跡が明らかにするものと、それが到達可能なフィッシャーを通して失うものについて研究する。
フィッシャートレースはスケーラブルでバイアスがないが、局所的なギャップ挙動や行列アライメントの証明書ではない。
- 参考スコア（独自算出の注目度）: 2.1065355408236193
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) determines not only how many parameters are trained, but also which local directions a model can move in, so similar adapters can affect subgroup losses differently. Since curvature matrices are infeasible to form at adapter scale, scalar summaries such as the Fisher trace are often used instead. We study what the trace reveals and what it loses through the reachable Fisher: each subgroup's full-model Fisher pulled back through the adapter Jacobian. Under likelihood losses, it represents the Gauss-Newton curvature accessible to the adapter, and its trace can be computed from score-gradient norms without forming the full matrix. Under matched subgroup gradients, a positive-definite reachable-Fisher difference, with a margin exceeding the Hessian-Fisher defect, implies that every sufficiently small nonzero model-changing update increases the signed gap. In contrast, the restricted operator norm determines worst-case quadratic change, while a matrix-free Frobenius discrepancy bounds its reachable-Fisher component. Trace alone cannot certify definiteness or control matrix mismatch. Equal traces rule out a positive-definite difference but can still hide large operator discrepancies. Across 306 single-seed models, higher trace accompanies greater subgroup difficulty in 75.7 percent of 1,218 eligible evaluations, while trace matching reduces the best-worst subgroup gap in all 30 dataset-encoder-adapter combinations. However, held-out audits show that operator discrepancy decreases in 23 of 30 combinations, while the unbiased squared-Frobenius statistic decreases in only 16 of 30. Fisher trace is therefore a scalable diagnostic and training heuristic, but not a certificate of local gap behavior or matrix alignment.
- Abstract（参考訳）: パラメータ効率の細かいチューニング(PEFT)は、トレーニングされたパラメータの数だけでなく、モデルがどのローカル方向を移動できるかも決定するので、類似のアダプタはサブグループ損失に異なる影響を与える。
曲率行列はアダプタスケールで形成できないため、フィッシャートレースのようなスカラーサマリーが使われることが多い。
各部分群のフルモデルフィッシャーは、アダプタヤコビアンから引き戻される。
潜在的な損失の下では、アダプタにアクセスできるガウス・ニュートン曲率を表し、そのトレースは完全な行列を形成することなくスコア階調ノルムから計算することができる。
一致した部分群勾配の下では、正定値リーチブル・フィッシャー差は、ヘッセン・フィッシャーの欠陥を超えるマージンを持ち、全ての十分小さな非ゼロモデル変更更新が符号付きギャップを増加させることを意味する。
対照的に、制限作用素ノルムは最悪の2次変化を決定するが、行列のないフロベニウスの差はリーチブル・フィッシャー成分を束縛する。
トレースだけでは、確定性や制御マトリックスのミスマッチを証明できない。
等トレースは正定差を除外するが、大きな演算子差を隠蔽することができる。
306個の単座モデルにまたがって、高いトレースは1,218の評価の75.7%でサブグループの難易度を増大させ、一方トレースマッチングは30のデータセットエンコーダとアダプタの組み合わせで最強のサブグループギャップを減少させる。
しかし, 維持監査の結果, 演算子差は30の組合せ中23の組合せで減少し, 無バイアスの正方形フロベニウス統計は30の16の組合せで減少することがわかった。
そのため、フィッシャートレースはスケーラブルな診断およびトレーニングヒューリスティックであるが、局所的なギャップ挙動や行列アライメントの証明書ではない。
関連論文リスト
- Technical note on: Zero-Training Feature-Space Alignment via Information Geometry [3.386583957524246]
ディープビジョンモデルは、分散シフト時にしばしば劣化する。
我々はZFGA(Zero-Training Fisher Geometry Alignment)を提案する。
ZFGAは、分布が歪む特徴空間幾何学をシフトする観察に基づいている。
論文 参考訳（メタデータ） (2026-09-29T11:39:56Z) - Fisher Simplicity in Kolmogorov-Arnold Networks and Multilayer Perceptrons [4.984601297028257]
Kolmogorov-Arnold Networks (KAN) は、部分的には解釈可能性によって動機付けられている。
固定基底kanでは、小あるいはゼロ基底係数は単純さの証明書のように見える。
実効露光ゼロは、エッジ内のフィッシャー・ヌル方向を正確に識別する。
論文 参考訳（メタデータ） (2026-09-26T11:46:01Z) - Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。
結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
論文 参考訳（メタデータ） (2026-08-21T18:52:04Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - Fisher Glasses: Tail-Certified Quantum Metrology in Quenched Environments [0.0]
量子気象学的優位性は平均的なフィッシャー応答によって証明される:コントラスト、感受性、量子フィッシャー情報(QFI)
潜伏セッションの認定条件は、曖昧な方向を計画し、達成可能な損失に逆戻りし、その後、再認証する。
平均フィッシャー行列、QFI、投影された情報を共有するアンサンブルは、認証精度が有限またはゼロである。
論文 参考訳（メタデータ） (2026-07-01T15:40:29Z) - Tailoring Strictly Proper Scoring Rules for Downstream Tasks: An Application to Causal Inference [48.78219918881965]
本稿では,ダウンストリーム誤差メトリックの局所曲率をマッチングすることにより,タスク固有の厳密なスコアリングルールを導出するフレームワークを提案する。
これを平均処理効果 (ATE) 推定に適用し, 閉形式損失と対応する正準確率写像を導出する。
論文 参考訳（メタデータ） (2026-06-02T08:41:25Z) - Sparsity Hurts: Simple Linear Adapter Can Boost Generalized Category Discovery [54.695641187741536]
Generalized Category Discovery (GCD)は、ラベルのないデータから新しいカテゴリを識別する。
以前のGCD法は、通常、事前訓練されたモデルからの転送可能な表現を利用する。
本稿では,各 ViT ブロックに線形アダプタを組み込む,単純かつ効果的な GCD 手法である LAGCD を提案する。
論文 参考訳（メタデータ） (2026-05-05T10:14:30Z) - Fisher-Geometric Diffusion in Stochastic Gradient Descent: Optimal Rates, Oracle Complexity, and Information-Theoretic Limits [0.0]
そこで我々は,ミニバッチノイズが本質的,損失誘起行列である勾配降下理論を開発した。
我々はフィッシャー双対ノルムにおけるエクシロン定常性に対するオラクル-複素性保証を証明した。
論文 参考訳（メタデータ） (2026-03-02T21:57:09Z) - Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。
我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文 参考訳（メタデータ） (2023-10-19T15:02:45Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳（メタデータ） (2022-10-28T07:04:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。