論文の概要: Technical note on: Zero-Training Feature-Space Alignment via Information Geometry
- arxiv url: http://arxiv.org/abs/2609.37302v1
- Date: Tue, 29 Sep 2026 11:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.447627
- Title: Technical note on: Zero-Training Feature-Space Alignment via Information Geometry
- Title（参考訳）: 技術ノート:情報幾何学によるゼロトレーニング特徴空間アライメント
- Abstract要約: ディープビジョンモデルは、分散シフト時にしばしば劣化する。
我々はZFGA(Zero-Training Fisher Geometry Alignment)を提案する。
ZFGAは、分布が歪む特徴空間幾何学をシフトする観察に基づいている。
- 参考スコア（独自算出の注目度）: 3.386583957524246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep vision models often degrade under distribution shift. Test-time adaptation can improve robustness but typically requires iterative optimization, hyperparameter tuning, and multiple forward-backward passes. We propose Zero-Training Fisher Geometry Alignment (ZFGA), a closed-form method that improves robustness under covariate shift without modifying model parameters. ZFGA is based on the observation that distribution shifts distort feature-space geometry. It estimates the Fisher information matrix of the predictive distribution with respect to feature embeddings and applies a linear transformation that aligns test-feature Fisher geometry with a reference geometry computed from clean data. This provides a natural-gradient-inspired preconditioning step in feature space. We evaluate ZFGA on CIFAR-10-C and ImageNet-C using ResNet-50, DINO ViT-S/16, and CLIP ViT-B/32. ZFGA consistently improves over zero-shot inference across all three models, although it is not the strongest method for every model. Covariance whitening performs better on ResNet-50, while Fisher whitening is statistically indistinguishable from ZFGA on CLIP. Across six training-free and gradient-based alternatives (covariance whitening, Fisher whitening, TENT, T3A, LAME, and AdaNPC), ZFGA is the only method that does not substantially harm any of the three model families. The Fisher geometry distortion is also positively correlated with ZFGA gain (Pearson r = 0.366, p = 0.017), providing preliminary evidence that geometric misalignment contributes to robustness degradation. ZFGA requires only forward passes and matrix operations at inference time, offering a lightweight and deterministic alternative to optimization-based test-time adaptation.
- Abstract（参考訳）: ディープビジョンモデルは、分散シフト時にしばしば劣化する。
テスト時の適応は堅牢性を改善することができるが、通常は反復最適化、ハイパーパラメータチューニング、複数前方パスが必要である。
モデルパラメータを変更することなく,共変量シフト下でのロバスト性を改善するクローズドフォーム法であるZero-Training Fisher Geometry Alignment (ZFGA)を提案する。
ZFGAは、分布が歪む特徴空間幾何学をシフトする観察に基づいている。
特徴埋め込みに関する予測分布のフィッシャー情報行列を推定し、テスト機能フィッシャー幾何とクリーンデータから計算された参照幾何を整列する線形変換を適用する。
これは、機能空間における自然な段階的なインスパイアされたプレコンディショニングステップを提供する。
ResNet-50, DINO ViT-S/16, CLIP ViT-B/32 を用いて, CIFAR-10-C および ImageNet-C 上の ZFGA を評価した。
ZFGAは、3つのモデルにまたがるゼロショット推論を継続的に改善するが、全てのモデルにとって最強の手法ではない。
Covariance WhiteningはResNet-50で、Fisher WhiteningはCLIPでZFGAと統計的に区別できない。
トレーニングフリーで勾配に基づく6つの代替手段(共分散白化、フィッシャー白化、TENT、T3A、LAME、AdaNPC)で、ZFGAは3つのモデルファミリーのどれにも実質的に害を与えない唯一の方法である。
フィッシャー幾何学の歪みは、ZFGAゲイン(ピアソン r = 0.366, p = 0.017)と正に相関しており、幾何学的ミスアライメントがロバストネスの劣化に寄与する前例の証拠を提供する。
ZFGAは推論時にフォワードパスと行列操作しか必要とせず、最適化ベースのテスト時間適応の軽量で決定論的代替手段を提供する。
関連論文リスト
- Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。
我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。
我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
論文 参考訳（メタデータ） (2026-06-18T20:51:42Z) - Continuous Neural Reparameterization as a Deep Geometric Prior for Robust Fixed-Chart UV Repair [0.0]
固定チャートUVアンラッピングを連続神経リパラメトリゼーションとして再放送した。
Laplace--Beltramiスペクトル入力、Tutte残留ウォームアップ、$C2$行列拡張、妥当性チェックされた再試行/フォールバックルーティングを組み合わせる。
コンパクトプリカットチャートと47チャートの層状化Thingi10K/xatlas-cutベンチマークでは、ニューラルソルバはすべてのコンパクトチャート上でゼロフリップを生成し、42/47の有効なゼロフリップ層状解を生成する。
論文 参考訳（メタデータ） (2026-06-08T18:26:03Z) - Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。
SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
論文 参考訳（メタデータ） (2026-06-07T15:22:13Z) - FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers [7.108048394322025]
アクティベーションステアリング法は、出力の振る舞いを制御するために言語モデルの中間表現を変更するが、アクティベーション空間がユークリッドであることを普遍的に仮定する。
モデル自身の出力挙動によって誘導される局所幾何学は、GPT-2上の相対スペクトルノルムにおいて、ユークリッド計量から97%以上逸脱する。
論文 参考訳（メタデータ） (2026-05-17T03:00:16Z) - Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。
PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。
3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
論文 参考訳（メタデータ） (2026-02-02T07:21:15Z) - FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。
FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
論文 参考訳（メタデータ） (2026-01-29T14:05:04Z) - Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。
本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
論文 参考訳（メタデータ） (2024-11-21T14:19:32Z) - IKOL: Inverse kinematics optimization layer for 3D human pose and shape
estimation via Gauss-Newton differentiation [44.00115413716392]
本稿では3次元ポーズ形状推定のための逆運動層(IKOL)を提案する。
IKOLは、既存の回帰ベースのメソッドよりもはるかに多い。
より正確な3Dポーズ推定を提供する。
論文 参考訳（メタデータ） (2023-02-02T12:43:29Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳（メタデータ） (2022-09-11T10:44:27Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D
Edge Alignment [85.32080531133799]
本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。
エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。
3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
論文 参考訳（メタデータ） (2020-12-15T11:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。