論文の概要: When Models Manipulate Manifolds: The Geometry of a Counting Task

• arxiv url: http://arxiv.org/abs/2601.04480v1
• Date: Thu, 08 Jan 2026 01:33:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:52.97252
• Title: When Models Manipulate Manifolds: The Geometry of a Counting Task
• Title（参考訳）: モデルがマニフォールドを操作するとき--カウントタスクの幾何学
• Authors: Wes Gurnee, Emmanuel Ameisen, Isaac Kauvar, Julius Tarng, Adam Pearce, Chris Olah, Joshua Batson,
• Abstract要約: Claude 3.5 Haikuは、固定幅テキストのラインブレークという、そのようなタスクを達成している。 文字数はスパース特徴群によって離散化された低次元曲線多様体上で表現される。 視覚錯覚、つまり、カウント機構をハイジャックする文字列を発見する。
• 参考スコア（独自算出の注目度）: 6.281821805293716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can perceive visual properties of text despite receiving only sequences of tokens-we mechanistically investigate how Claude 3.5 Haiku accomplishes one such task: linebreaking in fixed-width text. We find that character counts are represented on low-dimensional curved manifolds discretized by sparse feature families, analogous to biological place cells. Accurate predictions emerge from a sequence of geometric transformations: token lengths are accumulated into character count manifolds, attention heads twist these manifolds to estimate distance to the line boundary, and the decision to break the line is enabled by arranging estimates orthogonally to create a linear decision boundary. We validate our findings through causal interventions and discover visual illusions--character sequences that hijack the counting mechanism. Our work demonstrates the rich sensory processing of early layers, the intricacy of attention algorithms, and the importance of combining feature-based and geometric views of interpretability.
• Abstract（参考訳）: 言語モデルは、トークンのシーケンスのみを受け取っているにもかかわらず、テキストの視覚的特性を知覚することができる。 キャラクタカウントは, 生体位置細胞に類似したスパース特徴群によって識別される低次元曲面多様体上で表現される。 トークン長は文字数多様体に蓄積され、アテンションヘッドはこれらの多様体をひねり、線の境界までの距離を推定し、その線を破る決定は、直交的に推定をアレンジして線形決定境界を作成することによって可能である。 本研究は、因果的介入による知見の検証と視覚錯覚の発見である、カウンセリング機構をハイジャックする文字配列の発見である。 本研究は,初期階層のリッチな知覚処理,注意アルゴリズムの複雑度,および特徴に基づく幾何学的解釈可能性の視点を組み合わせることの重要性を実証する。

関連論文リスト

• Wavelet-Based Feature Extraction and Unsupervised Clustering for Parity Detection: A Feature Engineering Perspective [0.0]
  本稿では,パリティ検出の古典的問題に対する,意図的に過度に設計されたアプローチについて考察する。 モジュラー演算に頼る代わりに、整数はウェーブレットドメイン表現に変換される。 得られた特徴空間は奇数と偶数の間に有意な構造的な違いを示し、分類精度は69.67%である。
  論文  参考訳（メタデータ） (2025-10-29T11:41:36Z)
• Point or Line? Using Line-based Representation for Panoptic Symbol Spotting in CAD Drawings [67.5600169375126]
  ベクトルグラフィカルプリミティブからなるCAD図面におけるパノプティカルシンボルスポッティングの課題について検討する。 既存の手法は通常、画像化、グラフ構築、あるいは点ベースの表現に依存している。 本稿では,プリミティブの行ベースの表現を通じてこれらの課題に対処する新しい手法であるVecFormerを提案する。
  論文  参考訳（メタデータ） (2025-05-29T12:33:11Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Analyze Feature Flow to Enhance Interpretation and Steering in Language Models [3.8498574327875947]
  本研究では,スパースオートエンコーダによって発見される特徴を,大規模言語モデルの連続的な層にわたって体系的にマッピングする手法を提案する。 データフリーなコサイン類似性技術を使用することで、各ステージで特定の機能が持続、変換、あるいは最初に現れるかを追跡できる。
  論文  参考訳（メタデータ） (2025-02-05T09:39:34Z)
• Self-supervised Character-to-Character Distillation for Text Recognition [54.12490492265583]
  そこで本研究では,テキスト表現学習を容易にする汎用的な拡張を可能にする,自己教師型文字-文字-文字間蒸留法CCDを提案する。 CCDは、テキスト認識の1.38%、テキストセグメンテーションの1.7%、PSNRの0.24dB、超解像の0.0321(SSIM)で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-11-01T05:48:18Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)
• Deep Hough Transform for Semantic Line Detection [70.28969017874587]
  自然の場面で意味のある線構造、つまり意味的な線を検知する基本的なタスクに焦点をあてる。 従来の手法は線の性質を無視し、準最適性能をもたらす。 行検出のためのワンショットエンドツーエンド学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-10T13:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。