論文の概要: The Information Geometry of Representation Formation

• arxiv url: http://arxiv.org/abs/2610.34015v1
• Date: Sun, 25 Oct 2026 03:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.517786
• Title: The Information Geometry of Representation Formation
• Title（参考訳）: 表現形成の情報幾何学
• Abstract要約: ビューズ幾何学を用いて、表現空間と量子フィッシャー情報を通して運動を測定することにより、入力要因に対する局所感度を特徴づける。 学習はタスク関連因子に局所的な感度を集中し、予測対象のみを変更することで、対応する視覚因子の周りでこの幾何学を再編成することを発見した。 また,入力因子間の高次相互作用が要求されるため,表現軌跡の体系的な直接性も低下することが判明した。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most analyses of neural representations focus on trained endpoints, leaving the process by which internal structure forms comparatively unmeasured. We instead treat representation formation itself as an object of study, asking whether the path a representation takes through training reveals information that its endpoint does not. We formalize this idea by viewing representation learning as a geometric trajectory, using Bures geometry to measure movement through representation space and quantum Fisher information to characterize local sensitivity to input factors. We find that learning concentrates local sensitivity on task-relevant factors, and that changing only the prediction target reorganizes this geometry around the corresponding visual factor. More strikingly, representation trajectories become systematically less direct as the learned computation requires higher-order interactions among input factors. This effect persists under matched-performance and training-duration controls and transfers from synthetic vector inputs to residual CNNs on rendered and natural images. Importantly, formation history contains predictive information about the stability of the learned representation: controlling for interaction order, path tortuosity predicts its subsequent drift under continued training and sensitivity to parameter perturbations, whereas endpoint displacement does not. Finally, representation-aware optimization lets us actively shape these trajectories, showing that formation geometry is not only measurable but actionable. Together, these results establish representation formation as a new source of information about learning: its geometry reveals properties of the computation being constructed, predicts subsequent representational stability, and provides a target for intervention during optimization.
• Abstract（参考訳）: 神経表現のほとんどの分析は、訓練された終端に焦点を合わせ、内部構造が比較的計測されていない過程を残している。 代わりに、表現形成自体を研究対象として扱い、その表現が訓練を通して受ける経路が、その終端がそうでないことを明らかにする。 本研究では,表現学習を幾何学的軌跡として捉えることでこの考え方を定式化し,ビュース幾何学を用いて表現空間と量子フィッシャー情報を用いて局所感度を特徴付ける。 学習はタスク関連因子に局所的な感度を集中し、予測対象のみを変更することで、対応する視覚因子の周りでこの幾何学を再編成することを発見した。 より印象的なことに、学習された計算が入力要素間の高次相互作用を必要とするため、表現軌跡は体系的にあまり直接的ではない。 この効果は、合成ベクトル入力から、レンダリングおよび自然な画像上の残留CNNへの変換と、マッチング性能およびトレーニングデューレーション制御の下で持続する。 重要なことは、生成履歴には、学習された表現の安定性に関する予測情報が含まれている: 相互作用順序の制御、経路のトルティシティーは、継続トレーニング中のその後のドリフトを予測し、パラメータの摂動に敏感であるのに対して、エンドポイントの変位は予測しない。 最後に、表現対応最適化により、これらの軌跡を積極的に形作り、形状が測定可能であるだけでなく、動作可能であることを示す。 これらの結果は、学習に関する情報の新たな源として表現形成を確立し、その幾何学は構築中の計算の特性を明らかにし、その後の表現安定性を予測し、最適化中の介入の標的を提供する。

関連論文リスト

• Temporal Geometry of Deep Networks: Hyperbolic Representations of Training Dynamics for Intrinsic Explainability [0.0]
  本稿では,非ユークリッド空間においてグラフとその学習力学をどのように表現し,研究するかを検討する。 我々は、時間とともに重み付けされたトポロジ的自己組織化の幾何学的進化を捉えることを目的としている。 基礎となる神経パラメータの動的双曲表現を得るための幾何学的・時間的グラフに基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-02T08:32:13Z)
• Geometry of Forgetting: Representation Flux in Continual Learning [0.0]
  ニューラルネットワークは、新しいタスクを学習しながら、以前獲得した知識を失う。 逐次学習における潜時表現の進化について検討し, トレーニング間のサンプルレベル表現変位の幾何学的尺度である表現フラックスを導入する。 複数のベンチマークにおいて,表現フラックスは破滅的忘れと強く結びついており,時間的解析により,上昇フラックスがその後の性能劣化に先行する可能性が示唆された。 本稿では,記憶された参照に対して表現を制約し,継続学習を可能にする表現空間正規化手法であるFlowLess-Rを提案する。
  論文  参考訳（メタデータ） (2026-08-16T16:59:03Z)
• Neural Feature Geometry Evolves as Discrete Ricci Flow [5.645823801022895]
  深層ニューラルネットワークは入力データ多様体の複雑な幾何学的変換を通じて特徴表現を学習する。 離散幾何学のレンズによる神経特徴幾何学について検討する。 フィードフォワードニューラルネットワークにおいて,非線形アクティベーションが特徴幾何を形成する上で重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T13:57:46Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Leveraging Equivariant Features for Absolute Pose Regression [9.30597356471664]
  変換と回転の同変である畳み込みニューラルネットワークは,カメラの動きの表現を直接特徴空間に誘導することを示す。 次に、この幾何学的性質により、画像平面保存変換の全グループの下でトレーニングデータを暗黙的に増大させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-05T12:44:20Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。