論文の概要: Manifold Steering Reveals the Shared Geometry of Neural Network Representation and Behavior
- arxiv url: http://arxiv.org/abs/2605.05115v1
- Date: Wed, 06 May 2026 16:46:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.943215
- Title: Manifold Steering Reveals the Shared Geometry of Neural Network Representation and Behavior
- Title（参考訳）: マニフォールドステアリングによるニューラルネット表現と行動の共有幾何
- Authors: Daniel Wurgaft, Can Rager, Matthew Kowal, Vasudev Shyam, Sheridan Feucht, Usha Bhalla, Tal Haklay, Eric Bigelow, Raphael Sarfati, Thomas McGrath, Owen Lewis, Jack Merullo, Noah Goodman, Thomas Fel, Atticus Geiger, Ekdeep Singh Lubana,
- Abstract要約: 神経表現における幾何学は、内部への介入による原則制御を可能にするための適切な対象であることを示す。
言語モデルでは、巡回的かつシーケンシャルなジオメトリを持つ推論タスクと、より複雑なグラフジオメトリを持つコンテキスト内学習タスクを使用する。
- 参考スコア（独自算出の注目度）: 30.682925091275248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural representations carry rich geometric structure; but does that structure causally shape behavior? To address this question, we intervene along paths through activation space defined by different geometries, and measure the behavioral trajectories they induce. In particular, we test whether interventions that respect the geometry of activation space will yield behaviors close to those the model exhibits naturally. Concretely, we first fit an activation manifold $M_h$ to representations and a behavior manifold $M_y$ to output probability distributions. We then test the link $M_h \leftrightarrow M_y$ via interventions: we find that steering along $M_h$, which we term manifold steering, yields behavioral trajectories that follow $M_y$, while linear steering -- which assumes a Euclidean geometry -- cuts through off-manifold regions and hence produces unnatural outputs. Moreover, optimizing interventions in activation space to produce paths along $M_y$ recovers activation trajectories that trace the curvature of $M_h$. We demonstrate this bidirectional relationship between the geometry of representation and behavior across tasks and modalities. In language models, we use reasoning tasks with cyclic and sequential geometries as well as in-context learning tasks with more complex graph geometries. In a video world model, we use a task with geometry corresponding to physical dynamics. Overall, our work shows that geometry in neural representation is not merely incidental, but is in fact the proper object for enabling principled control via intervention on internals. This recasts the core problem of steering from finding the right direction to finding the right geometry.
- Abstract（参考訳）: 神経表現はリッチな幾何学的構造を持つが、その構造は因果的形状の振る舞いを持つか?
この問題に対処するため、異なる測地によって定義された活性化空間を通って経路に沿って介入し、それらが誘導する行動軌跡を測定する。
特に、活性化空間の幾何学を尊重する介入が、モデルが自然に示すものに近い振る舞いをもたらすかどうかをテストする。
具体的には、まずアクティベーション多様体 $M_h$ を表現に適用し、振る舞い多様体 $M_y$ を確率分布を出力する。
次に、介入によって$M_h \leftrightarrow M_y$のリンクをテストする: 多様体ステアリングと呼ばれる$M_h$に沿ってステアリングすると、M_y$に続く振舞い軌道が得られ、ユークリッド幾何学を仮定する線形ステアリングがオフマンフォールド領域を切断し、従って非自然な出力が生成される。
さらに、活性化空間内の介入を最適化して$M_y$に沿った経路を生成すると、$M_h$の曲率を辿る活性化軌道が回復する。
タスクとモダリティ間の表現の幾何学と振る舞いの双方向関係を実証する。
言語モデルでは、巡回的かつシーケンシャルなジオメトリを持つ推論タスクと、より複雑なグラフジオメトリを持つコンテキスト内学習タスクを使用する。
ビデオワールドモデルでは,物理力学に対応する幾何学的タスクを用いる。
全体として、我々の研究は、神経表現の幾何学は単なる偶発的ではなく、実際、内部への介入を通じて原則化された制御を可能にするための適切な対象であることを示している。
このことは、正しい方向を見つけることから正しい幾何学を見つけることまで、ステアリングのコア問題を再考する。
関連論文リスト
- Make Geometry Matter for Spatial Reasoning [62.61667611352403]
視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。
近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。
我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
論文 参考訳（メタデータ） (2026-03-27T17:45:12Z) - Parallelised Differentiable Straightest Geodesics for 3D Meshes [47.61846725512702]
メッシュが最も直線的な測地線として識別されたリーマン曲面上の指数写像を計算するための原理的枠組みを提案する。
我々は、我々の微分指数写像が一般測地における学習と最適化のパイプラインをどのように改善するかを示す。
論文 参考訳（メタデータ） (2026-03-16T18:10:28Z) - Low-Dimensional Execution Manifolds in Transformer Learning Dynamics: Evidence from Modular Arithmetic Tasks [0.0]
本稿では, 数値計算を慎重に制御し, 変圧器モデルにおける学習力学の構造について検討する。
その結果,トランスフォーマー学習を理解するための統一的な幾何学的枠組みが示唆された。
論文 参考訳（メタデータ） (2026-02-11T03:57:46Z) - Follow the Energy, Find the Path: Riemannian Metrics from Energy-Based Models [63.331590876872944]
本稿では,事前学習したエネルギーベースモデルから直接リーマン計量を導出する手法を提案する。
これらの測度は空間的に異なる距離を定義し、測地学の計算を可能にする。
EBM由来のメトリクスは、確立されたベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2025-05-23T12:18:08Z) - Fully Geometric Multi-Hop Reasoning on Knowledge Graphs with Transitive Relations [50.05281461410368]
マルチホップ推論のための幾何学的埋め込み手法GeometrEを紹介する。
論理演算を学習する必要はなく、完全に幾何学的解釈可能である。
実験の結果,GeometrEは標準ベンチマークデータセットの最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-05-18T11:17:50Z) - Is Distance Matrix Enough for Geometric Deep Learning? [24.307433184938127]
我々は,Vanilla DisGNNが幾何学的に不完全であることを示す。
次に,距離行列に含まれるリッチな幾何学を効果的に活用できる$k$-DisGNNを提案する。
私たちの$k$-DisGNNsはMD17.comの最先端の成果を多数達成しています。
論文 参考訳（メタデータ） (2023-02-11T16:54:20Z) - A Level Set Theory for Neural Implicit Evolution under Explicit Flows [102.18622466770114]
暗黙の曲面をパラメータ化するコーディネートベースのニューラルネットワークは、幾何学の効率的な表現として登場した。
このような暗黙の面に三角形メッシュに対して定義された変形操作を適用することができるフレームワークを提案する。
提案手法は, 表面平滑化, 平均曲率流, 逆レンダリング, 暗黙的幾何によるユーザ定義編集など, 応用性の向上を示す。
論文 参考訳（メタデータ） (2022-04-14T17:59:39Z) - q-Paths: Generalizing the Geometric Annealing Path using Power Means [51.73925445218366]
我々は、幾何学と算術の混合を特別なケースとして含むパスのファミリーである$q$-pathsを紹介した。
幾何経路から離れた小さな偏差がベイズ推定に経験的利得をもたらすことを示す。
論文 参考訳（メタデータ） (2021-07-01T21:09:06Z) - Identifying the latent space geometry of network models through analysis
of curvature [7.644165047073435]
本稿では,可換空間の経験的に関連するクラスから多様体の種類,次元,曲率を一貫して推定する手法を提案する。
私たちのコアインサイトは、このグラフを、シリック間の結びつきに基づく騒々しい距離行列として表現することで実現します。
論文 参考訳（メタデータ） (2020-12-19T00:35:29Z) - Representing Deep Neural Networks Latent Space Geometries with Graphs [38.63434325489782]
ディープラーニング(DL)は多くの機械学習タスクで最先端のパフォーマンスに到達する能力に多くの注目を集めている。
本研究は, 様々な問題に対処するために, これらの潜在測地に関する制約を導入することが可能であることを示す。
論文 参考訳（メタデータ） (2020-11-14T17:21:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。