論文の概要: Representation Geometry as a Diagnostic for Out-of-Distribution Robustness
- arxiv url: http://arxiv.org/abs/2602.03951v2
- Date: Thu, 05 Feb 2026 04:54:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 14:11:23.878176
- Title: Representation Geometry as a Diagnostic for Out-of-Distribution Robustness
- Title(参考訳): 分布外ロバスト性診断としての表現幾何学
- Authors: Ali Zia, Farid Hazratian,
- Abstract要約: In-distribution Embeddingsからクラス条件の相互k-nearest-neighborグラフを構成する幾何学的診断フレームワークを提案する。
スペクトルの複雑さが低く、平均曲率が高くなると、チェックポイント全体にわたって強い分布外(OOD)の精度が常に予測される。
この結果から,表現幾何学はラベル無しで解釈可能な診断を可能にし,教師なしチェックポイント選択の信頼性をサポートできることが示唆された。
- 参考スコア(独自算出の注目度): 0.5978543974412219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust generalization under distribution shift remains difficult to monitor and optimize in the absence of target-domain labels, as models with similar in-distribution accuracy can exhibit markedly different out-of-distribution (OOD) performance. While prior work has focused on training-time regularization and low-order representation statistics, little is known about whether the geometric structure of learned embeddings provides reliable post-hoc signals of robustness. We propose a geometry-based diagnostic framework that constructs class-conditional mutual k-nearest-neighbor graphs from in-distribution embeddings and extracts two complementary invariants: a global spectral complexity proxy based on the reduced log-determinant of the normalized Laplacian, and a local smoothness measure based on Ollivier--Ricci curvature. Across multiple architectures, training regimes, and corruption benchmarks, we find that lower spectral complexity and higher mean curvature consistently predict stronger OOD accuracy across checkpoints. Controlled perturbations and topological analyses further show that these signals reflect meaningful representation structure rather than superficial embedding statistics. Our results demonstrate that representation geometry enables interpretable, label-free robustness diagnosis and supports reliable unsupervised checkpoint selection under distribution shift.
- Abstract(参考訳): 分布シフト下でのロバストな一般化は、類似の分布精度を持つモデルが明らかに異なるアウト・オブ・ディストリビューション(OOD)性能を示すため、ターゲットドメインラベルの欠如を監視・最適化することが依然として困難である。
これまでの研究は、訓練時間正規化と低次表現統計に重点を置いていたが、学習された埋め込みの幾何学構造が堅牢性の信頼性の高いポストホック信号を提供するかどうかについては、ほとんど分かっていない。
本稿では,正規化ラプラシアンの対数決定率の低減に基づく大域的スペクトル複雑性プロキシと,Ollivier-Ricci曲率に基づく局所滑らか度測定の2つの相補的不変量を抽出する。
複数のアーキテクチャ、トレーニングレジーム、汚職ベンチマークで、スペクトルの複雑さが低く、平均曲率が高くなると、チェックポイント全体で強いOOD精度が常に予測されることがわかった。
制御された摂動とトポロジカル解析は、これらの信号が表面埋め込み統計よりも意味のある表現構造を反映していることを示している。
この結果から,表現幾何学は,解析可能なラベルのないロバスト性診断を可能にし,分散シフト下での信頼できないチェックポイント選択をサポートできることが示唆された。
関連論文リスト
- Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
本稿では,2次幾何統計フレームワークを提案する。
提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
論文 参考訳(メタデータ) (2026-01-31T18:12:29Z) - Understanding Generalization from Embedding Dimension and Distributional Convergence [13.491874401333021]
表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。
人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
論文 参考訳(メタデータ) (2026-01-30T09:32:04Z) - SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。
行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。
我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文 参考訳(メタデータ) (2026-01-06T19:47:11Z) - ARGUS: Adaptive Rotation-Invariant Geometric Unsupervised System [0.0]
本稿では,データ多様体の固定空間分割上での局所統計追跡としてドリフト検出を再現するフレームワークであるArgusを紹介する。
正準正則フレーム上のボロノイテッセルレーションは変換に不変なドリフト計量をもたらす。
孤立摂動からコヒーレントな分布シフトを区別するドリフト伝播のグラフ理論的特徴付けを開発した。
論文 参考訳(メタデータ) (2026-01-03T22:39:20Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳(メタデータ) (2025-10-22T19:06:39Z) - From Eigenmodes to Proofs: Integrating Graph Spectral Operators with Symbolic Interpretable Reasoning [0.0]
完全スペクトル型ニューロシンボリック推論フレームワークであるSpectral NSRを紹介する。
論理ルールをスペクトルテンプレートとして組み込み、グラフスペクトル領域で直接推論を行う。
スペクトルNSRは, 高い精度, 高速な推測, 対向摂動に対する頑健性の向上, 先行するベースラインと比較して高い解釈性を実現している。
論文 参考訳(メタデータ) (2025-09-07T01:12:20Z) - Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。
我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。
全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Robust Self-Supervised LiDAR Odometry via Representative Structure
Discovery and 3D Inherent Error Modeling [67.75095378830694]
そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。
本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。
我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
論文 参考訳(メタデータ) (2022-02-27T12:52:27Z) - Invariance Principle Meets Out-of-Distribution Generalization on Graphs [66.04137805277632]
グラフの複素性質は、OOD一般化の不変原理の採用を妨げている。
OODメソッドでしばしば必要とされるドメインや環境のパーティションは、グラフを得るために取得するのにコストがかかる。
コントラスト戦略を用いて,このプロセスを明確にモデル化する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-11T04:38:39Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T22:04:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。