論文の概要: Dynamics to decision: A mathematical theory of Lyapunov spectra and decision boundaries in deep classifiers
- arxiv url: http://arxiv.org/abs/2609.39190v1
- Date: Wed, 30 Sep 2026 07:43:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.40029
- Title: Dynamics to decision: A mathematical theory of Lyapunov spectra and decision boundaries in deep classifiers
- Title(参考訳): 決定へのダイナミクス: 深い分類器におけるリアプノフスペクトルと決定境界の数学的理論
- Abstract要約: フィードフォワード分類器の深さによるデータサンプルの動的軌跡の軌跡について検討する。
確率レベルFTMLEが決定境界の明確な幾何学的シグネチャを持つことを示す。
分類器の隠れFTMLEを再構成するための幾何学的微調整を提案する。
- 参考スコア(独自算出の注目度): 1.9422653437378987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A deep classifier is defined not only by the decision it produces, but also by the sequence of transformations through which that decision is formed. Treating this evolution as a dynamical system across layers provides a natural framework for asking how decision geometry emerges through depth and how far back we can trace a boundary's dynamical signature. We model a feed-forward classifier as a finite, nonautonomous discrete dynamical system, with layers playing the role of discrete time steps. We study the Finite-Time Maximum Lyapunov Exponent (FTMLE) of the data samples' dynamical trajectory through depths of the classifier. The FTMLE measures the rate of convergence/divergence of nearby trajectories. We move the observation endpoint backward from probabilities to logits and then to hidden representations. For Gaussian classes, we prove that probability-level FTMLE carries a clear geometric signature of the decision boundary, with its dominant direction aligned with the boundary normal. Moving one step backward to the logits, we prove this relationship is no longer universal but depends critically on how the classifier is trained, particularly on the choice of loss function. Moving further backward to the hidden representation, the connection becomes more conditional: boundary-related FTMLE can persist, but only under identifiable structural conditions. We propose geometry-aware fine-tuning for restructuring the classifier's hidden FTMLE, and propose conditions for guaranteed concentration of high hidden FTMLE near the decision boundary. Through our numerical results, we show the generality and validity of our theoretical results. Understanding the evolution of data samples as traveling through the layers of classifier provides a principled foundation for identifying where boundary-relevant sensitivity emerges and for developing layer-aware regularization strategies.
- Abstract(参考訳): ディープ分類器は、生成する決定だけでなく、その決定が生成される変換の順序によっても定義される。
この進化を層間の動的システムとして扱うことは、決定幾何学が深みを通してどのように現れるのか、境界の動的シグネチャをどこまで遡るかを問う自然な枠組みを提供する。
我々は、フィードフォワード分類器を有限で不規則な離散力学系としてモデル化し、層が離散時間ステップの役割を担っている。
我々は,データサンプルの動的軌跡の有限時間最大リアプノフ指数(FTMLE)を分類器の深さを通して検討した。
FTMLEは、近くの軌道の収束/分岐率を測定する。
観測エンドポイントを確率からロジットに逆向きに移動し、次に隠れた表現に移動します。
ガウス類に対しては、確率レベル FTMLE が決定境界の明確な幾何学的シグネチャを持ち、その支配方向が境界正規値に一致していることを証明する。
この関係はもはや普遍的ではないが、分類器の訓練方法、特に損失関数の選択に批判的に依存する。
隠れた表現にさらに後ろへ進むと、接続はより条件付きになり、境界関連FTMLEは持続できるが、識別可能な構造条件下でのみ持続する。
分類器の隠蔽FTMLEを再構成するための幾何学的微調整を提案し、決定境界付近で高い隠蔽FTMLEの濃度を保証する条件を提案する。
数値的な結果から,理論的な結果の一般化と妥当性を示す。
分類器の層を通り抜けるデータサンプルの進化を理解することは、境界関連感度がどこに現れるかを特定し、レイヤー対応の正規化戦略を開発するための基本的な基盤を提供する。
関連論文リスト
- Topology-Aware Neighborhood Learning for Source-Free Cross-Scene Hyperspectral Image Classification [11.354716471312239]
ドメイン適応は、複雑なシナリオにおける識別能力を大幅に向上させる、高度なクロスシーンハイパースペクトル画像分類を持つ。
従来のドメイン適応手法は非現実的になり、現実的なリモートセンシングのシナリオにおいてその実用性を著しく制限する。
ソースデータなしで、堅牢で正確な分類を実現するために、トポロジ対応のソースフリー学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-06T12:40:06Z) - Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。
密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文 参考訳(メタデータ) (2026-06-20T07:03:26Z) - Topological Flow Matching [56.16372813551555]
フローマッチングは強力な生成モデリングフレームワークであり、そのシンプルさと強力な経験的パフォーマンスに価値がある。
トポロジカルフローマッチング(トポロジカルフローマッチング)は,トポロジカルフローマッチングの一般化である。
脳のfMRI、海流、地震イベント、交通流など、さまざまな構造化されたデータセットに対して、その効果を実証する。
論文 参考訳(メタデータ) (2026-06-14T16:29:33Z) - Active Timepoint Selection for Learning Measure-Valued Trajectories [55.49809248697036]
スナップショットから連続確率パスを推定することは、単細胞生物学のような領域における根本的な課題である。
スパース測度空間にアクティブな実験を拡張するフレームワークを導入する。
これにより、不確実性を最小限に抑えるために測定時間を反復的に選択する取得ポリシーが得られる。
論文 参考訳(メタデータ) (2026-05-28T22:22:35Z) - Uncovering the Latent Potential of Deep Intermediate Representations [16.988545433223933]
タスク関連情報は,非単調に層に分散し,ナブアグリゲーションによって回復できないことを示す。
本稿では,タスク識別サブ空間を識別する構成的スペクトル法であるレイヤワイズ最適埋め込み選択(LOES)を紹介する。
提案手法は,意味的因子を層に分散させることで,言語間およびモーダル間の解釈可能性の分析を可能にする。
論文 参考訳(メタデータ) (2026-05-21T20:58:42Z) - The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations [6.414826816896125]
大規模言語モデル(LLM)は連続的な意味空間をスムーズに一般化するが、厳密な論理的推論は決定境界の形成を要求する。
我々は、タスクコンテキストが、必要な「トポロジ的歪み」を強制する非等方的力学演算子として機能すると主張している。
この幾何学的進化は、単純な写像から複雑な原始性テストまで、タスクの勾配を越えて検証する。
論文 参考訳(メタデータ) (2026-03-24T13:41:57Z) - Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。
現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する
Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
論文 参考訳(メタデータ) (2026-03-05T23:44:45Z) - ABounD: Adversarial Boundary-Driven Few-Shot Learning for Multi-Class Anomaly Detection [24.691181948844136]
ABversaounDは、マルチクラス異常検出のためのAdrial Boundary-Driven few-shot Learningフレームワークである。
意味論的概念学習と意思決定境界形成を統合している。
MVTec-ADとVisAデータセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳(メタデータ) (2025-11-27T13:18:22Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳(メタデータ) (2021-10-24T08:57:46Z) - Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。
本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。
本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-13T18:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。