論文の概要: Geometry of Ordinal Representations in Language Models

• arxiv url: http://arxiv.org/abs/2607.04167v1
• Date: Sun, 05 Jul 2026 08:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.845035
• Title: Geometry of Ordinal Representations in Language Models
• Title（参考訳）: 言語モデルにおける正規表現の幾何学
• Authors: Saksham Bassi, Sharvi Tomar,
• Abstract要約: 幾何計算は、数値的なツイスターとは異なり、順序順を保存するツイスターで、アーキテクチャに依存していることを示す。 また、Qwen3-4Bは、インデントのためのGemmaモデルよりもかなり強いねじれを示し、そのツイスターは、数値的なツイスターとは異なり、順序順を保存する。 アクティベーションパッチは、特定された多様体部分空間がタスク関連情報に集中していることを確認する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work showed that language models represent character counts on curved 1D manifolds, with attention heads performing geometric transformations to enable computation. We test whether this generalizes across four ordinal tasks (bracket depth, indentation, table position, numeric magnitude) in Gemma-2-2B, Gemma-2-9B, and Qwen3-4B. We find that 1D manifolds with place-cell feature tiling emerge for tasks where the ordinal variable is locally computable from token identity, while tasks requiring cross-position integration or semantic extraction produce higher-dimensional or incoherent representations. Geometric computation is architecture-dependent: Qwen3-4B shows substantially stronger twisting than Gemma models for indentation, and its twisters preserve ordinal order, unlike its numeric twisters. Activation patching confirms that the identified manifold subspaces concentrate task-relevant information, with manifold-direction ablation causing dramatically larger probe accuracy drops than random-direction controls.
• Abstract（参考訳）: 近年の研究では、曲面1次元多様体上の文字数を表す言語モデルが示されている。 Gemma-2-2B, Gemma-2-9B, Qwen3-4Bの4つの順序タスク(ブラケット深さ, インデント, テーブル位置, 数値等)にまたがる一般化を検証した。 順序変数がトークンIDから局所的に計算可能なタスクに対して,配置セル特徴量タイリングを持つ 1D 多様体が出現し,クロスポジション積分やセマンティック抽出を必要とするタスクは,高次元あるいは不整合表現を生成する。 幾何計算はアーキテクチャに依存している: Qwen3-4B は、インデンテーションのための Gemma モデルよりもかなり強いねじれを示し、ツイスターは、数値的なツイスターとは異なり、順序順を保存する。 アクティベーションパッチは、特定された多様体部分空間がタスク関連情報に集中していることを確認する。

関連論文リスト

• SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry [69.89196162649091]
  SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry) は、拡張された単眼ビデオシーケンスから3次元幾何学を推定するための新しいアプローチである。 提案手法では,アフィン不変な3次元点マップを全列に共通パラメータで生成し,一貫したスケール不変表現を実現する。
  論文  参考訳（メタデータ） (2026-06-19T10:23:25Z)
• SpatialEvo: Self-Evolving Spatial Intelligence via Deterministic Geometric Environments [75.60795462502949]
  SpaceEvoは3D空間推論のための自己進化型フレームワークである。 16の空間推論タスクカテゴリを明示的な幾何学的検証規則で定式化する。 注釈のない3Dシーンをゼロノイズのインタラクティブなオラクルに変換し、モデルコンセンサスを客観的な物理的フィードバックに置き換える。
  論文  参考訳（メタデータ） (2026-04-15T17:59:12Z)
• Finding Belief Geometries with Sparse Autoencoders [0.0]
  本稿では,変圧器表現における単純な部分空間の候補を求めるパイプラインを提案する。 隠れマルコフモデルを用いて学習した変圧器上でのパイプラインの検証を行った。 真の信念のような幾何学がGemma-2-9Bの表現空間に存在するという予備的な証拠がある。
  論文  参考訳（メタデータ） (2026-04-03T03:29:48Z)
• GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation [38.12499404546835]
  オープンな3次元セグメンテーションのための階層的幾何-セマンティック整合性を統合するフレームワークであるGeoGuideを提案する。 具体的には,不確実性に基づくスーパーポイント蒸留モジュールを導入し,幾何学的特徴と意味的特徴を融合させる。 ScanNet v2、Matterport3D、nuScenesに関する実験は、GeoGuideの優れた性能を示している。
  論文  参考訳（メタデータ） (2026-03-27T10:29:19Z)
• SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
  本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。 次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。 本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-07-31T17:56:55Z)
• Dens3R: A Foundation Model for 3D Geometry Prediction [44.13431776180547]
  Dens3Rは幾何学的密度予測のための3次元基礎モデルである。 画像対マッチング機能と本質的不変性モデリングを統合することにより、Dens3Rは複数の幾何学的量を正確に回帰する。
  論文  参考訳（メタデータ） (2025-07-22T07:22:30Z)
• Estimating Dataset Dimension via Singular Metrics under the Manifold Hypothesis: Application to Inverse Problems [0.6138671548064356]
  多様体の内在次元を推定し、適切な局所座標を構築し、周囲空間と多様体空間の間の写像を学習する3つの重要な課題に対処する枠組みを提案する。 本稿では,VAEデコーダのプルバック値の数値ランクを解析することにより,データセットのIDを推定することに集中する。 推定IDは、可逆なVAEの混合を用いた局所チャートのアトラスの構築をガイドし、正確な多様体パラメータ化と効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2025-07-09T21:22:59Z)
• A Recipe for Geometry-Aware 3D Mesh Transformers [2.0992612407358293]
  本研究では, ノード数可変のパッチを収容するパッチレベルで, 特徴を埋め込む手法について検討する。 本研究は,1)一般的な3次元メッシュトランスフォーマにおける熱拡散による構造的および位置的埋め込みの重要性,2)学習の強化における測地的マスキングや機能的相互作用といった新しい要素の有効性,3)セグメント化と分類作業の課題における提案手法の優れた性能と効率性など,重要な知見を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-10-31T19:13:31Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• SeqXY2SeqZ: Structure Learning for 3D Shapes by Sequentially Predicting 1D Occupancy Segments From 2D Coordinates [61.04823927283092]
  本稿では,各2次元位置における関数の出力が内部の線分列である2次元関数を用いて3次元形状を表現することを提案する。 本研究では,SeqXY2SeqZと呼ばれるセック2Seqモデルを用いて,2つの任意の軸に沿った2次元座標列から3つの軸に沿った1次元位置の列への写像を学習する手法を提案する。 実験の結果,SeqXY2SeqZは広く使用されているベンチマークで最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-12T00:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。