論文の概要: When Models Don't Manipulate Manifolds: The Geometry of a Comparison Task

• arxiv url: http://arxiv.org/abs/2609.37680v1
• Date: Tue, 29 Sep 2026 14:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.627222
• Title: When Models Don't Manipulate Manifolds: The Geometry of a Comparison Task
• Title（参考訳）: モデルがマニフォールドを操作しないとき--比較課題の幾何学
• Abstract要約: Qwen2.5-7B-Instructにおける数比較の因果幾何学について検討する。 曲面幾何の存在にもかかわらず、Qwenは主に数の線型表現を使用する。 この結果は,多様体仮説が線形表現と共存可能であることを示す。
• 参考スコア（独自算出の注目度）: 15.159064894923048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the current premises of mechanistic interpretability research is that detailed accounts of the geometry of neural network representations can tell us how models perform computations, and how to effectively intervene on them. While low dimensional manifolds have been observed for multiple concepts in the literature (e.g. numbers encoded on helices, days of the week on a circle, ...), with structure believed to reflect properties of data and tasks, the extent to which models rely on them for computation, and how they manipulate them, remains unclear. We characterize precisely the geometry of computation in a number-comparison task, as an abstraction of comparison for decision making, and how models utilize geometry in an elegant fashion to implement it. Specifically, we study the causal geometry of number comparison in Qwen2.5-7B-Instruct, a capable and widely studied open-weight model, and find Qwen largely uses linear representations of numbers despite the presence of curved geometry. To compare two numbers, the model first encodes each number along a vector and adds the two representations using attention and the residual connection, bringing them into a shared space in the residual stream. Then, the model uses MLP neurons to compare the pair of numbers on local regions in this shared space, which correspond to smaller intervals of input numbers, and combines these to obtain the position of the maximum. In fact, this reliance on linear representations for comparison also persists when the model compares three numbers. Our findings demonstrate that the manifold hypothesis can co-exist with linear representations: while concepts that are ordered may have manifold structure in representations, the model may use an underlying linear structure of the concept in certain computations.
• Abstract（参考訳）: 機械論的解釈可能性研究の現在の前提の一つは、ニューラルネットワーク表現の幾何学の詳細な説明が、モデルがどのように計算を行い、どのように効果的に介入するかを教えてくれることである。 文学において、低次元多様体は複数の概念(例えば、ヘリスにエンコードされた g 個の数、円上の週の日、...)に対して観測されているが、構造はデータやタスクの性質を反映していると考えられている。 我々は,数列比較タスクにおける計算の幾何学を,意思決定における比較の抽象化として,モデルがエレガントな方法で幾何学をどのように活用するかを正確に評価する。 具体的には,有能かつ広く研究されているオープンウェイトモデル Qwen2.5-7B-Instruct における数比較の因果幾何学について検討し,曲線幾何学が存在するにもかかわらず,Qwen が乗算の線形表現を主に利用していることを見出した。 2つの数を比較するために、モデルはまず各数をベクトルに沿ってエンコードし、注意と残余接続を使って2つの表現を追加し、残余ストリーム内の共有空間に導く。 次に、このモデルでは、MLPニューロンを用いて、入力番号の間隔の小さいこの共有空間の局所領域上の1対の数値を比較し、これらを組み合わせて最大位置を求める。 実際、比較のための線形表現へのこの依存は、モデルが3つの数を比較するときにも持続する。 順序づけられた概念は表現において多様体構造を持つかもしれないが、モデルは特定の計算においてその概念の根底にある線形構造を用いることができる。

関連論文リスト

• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Neural Point-Forms [1.0262304700896199]
  ニューラル・ポイント・フォーム(NPF)と呼ばれる点雲の原理的学習可能な幾何学的特徴の新たなファミリーを導入する。 NPFは競合的で解釈可能な表現であり、ラベルがサンプリング密度、多様体のような構造、あるいは応答関連人口幾何学に依存する場合に最も大きな利点が現れる。
  論文  参考訳（メタデータ） (2026-05-15T01:44:31Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Connecting Neural Models Latent Geometries with Relative Geodesic Representations [21.71782603770616]
  遅延構造を異なる潜在空間間で共有する場合、表現間の相対距離を歪みまで保存できることが示される。 異なるニューラルモデルは、ほぼ同じ基礎多様体をパラメータ化し、プルバック計量に基づく表現を導入すると仮定する。 本手法は,オートエンコーダと視覚基盤識別モデルを対象として,モデルの縫合と検索のタスクについて検証する。
  論文  参考訳（メタデータ） (2025-06-02T12:34:55Z)
• PARSAC: Accelerating Robust Multi-Model Fitting with Parallel Sample Consensus [26.366299016589256]
  雑音データから幾何モデルの複数事例を頑健に推定するリアルタイム手法を提案する。 ニューラルネットワークは、入力データを潜在的モデルインスタンスを表すクラスタに分割する。 我々は、画像当たり5ミリ秒の推論時間を持つ複数の確立されたデータセットと同様に、これらに対して最先端のパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-26T14:54:56Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
  本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。 複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。 これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
  論文  参考訳（メタデータ） (2021-03-25T14:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。