論文の概要: Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

• arxiv url: http://arxiv.org/abs/2605.29634v1
• Date: Thu, 28 May 2026 09:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.094152
• Title: Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames
• Title（参考訳）: 変圧器における関係ランク形状:隠れ状態関係フレームの検出とステアリング
• Authors: Mazen Kobrosly,
• Abstract要約: トークンコンストラクタ間の関係のランク付き幾何について検討した。 32以上のプロンプトを洗浄・腐食介入法で測定する。 クリーンターゲット関係フレームパスは、クリーン・アンサー動作と残差関係幾何を回復する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer hidden states are often interpreted through local or low-order objects: neurons, sparse features, attention heads, residual-stream directions, or activation patches. This paper studies a complementary object: the rank-indexed geometry of relations among token tuples. I use Plucker sign entropy to test whether r-argument relations leave arity-matched orientation signatures in hidden-state space. Across Llama-family 8B, 70B, and 405B checkpoints, true relation tuples show stronger orientation-sign consistency at the expected rank k=r for r=3,...,6 than scrambled tuples under matched random-control audits. Multi-template audits show that the effects survive surface variation, with all tested 405B rows retaining positive expected-rank margins and 8B/70B retaining positive rows with constructor-specific mixed cells. I then ask whether the same relation geometry can be steered. In an edge-grid clean/corrupt intervention assay over 32 prompts, the row/column scaffold and answer format stay fixed while the YES/NO relation map changes, and the corrupt hidden-state relation frame is patched toward clean or placebo targets. In 70B and 405B, clean-targeted relation-frame paths recover clean-answer behavior and residual relation geometry, while centroid-only and equal-norm controls show negligible recovery. Site/order controls further separate marker-site importance from ordered clean-frame geometry: target clean shape and cross-prompt clean shape recover behavior and residual geometry at the marker interface, whereas corrupt-donor transfer, same-site permutation/reflection, wrong-site clean deltas, centroid-only motion, and equal-norm noise fail or remain far below clean-frame paths. The result is a controlled bridge from relation probing to relation-frame intervention: relation rank geometry can be detected, targeted, and behaviorally validated in transformer hidden states.
• Abstract（参考訳）: トランスフォーマー隠れ状態は、しばしば、神経細胞、スパース特徴、アテンションヘッド、残ストリーム方向、アクティベーションパッチなど、局所的または低次オブジェクトを通して解釈される。 本稿では,トークンタプル間の関係のランクインデクシング幾何について,補完的な対象について検討する。 I use Plucker sign entropy to test whether r-argument relations leave arity-matched orientation signatures in hidden-state space。 Llama- Family 8B, 70B, 405B チェックポイント全体で、真の関係タプルは、一致したランダム制御監査下でのスクランブルされたタプルよりも、r=3, ...,6 の期待ランク k=r において、より強い向きの整合性を示す。 マルチテンポレート・監査では,全ての試験対象405B行が有意なランクマージンを維持し,8B/70B行がコンストラクタ特異的混合細胞で陽性な行を維持している。 次に、同じ関係幾何学を操れるかどうか尋ねる。 YES/NO関係マップが変更されている間、行/列の足場と応答形式が固定され、汚い隠れ状態関係フレームがクリーンまたはプラセボターゲットに向けてパッチされる。 70Bと405Bでは、クリーンターゲットのリレーション・フレーム・パスがクリーニング・アンサーの挙動と残留リレーション・ジオメトリを回復する一方、セントロイド限定と等ノルム制御は無視できないリカバリを示す。 ターゲットのクリーン形状とクロスプロンプトのクリーン形状の復元 マーカー界面での挙動と残留形状の復元 一方、破損したドナー転移、同部位の置換/反射、間違った場所のクリーンデルタ、セントロイドのみの動き、等ノルムノイズはクリーンフレーム経路よりはるかに下にある。 その結果、関係フレームの介入から制御されたブリッジとなる:関係ランクの幾何学は、トランスフォーマーの隠蔽状態において検出され、標的となり、行動的に検証される。

関連論文リスト

• Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction [59.47026381165585]
  視覚言語モデルは精度を上げて幾何学的問題を解くが、その中間状態は潜伏し、検証できないままである。 我々は,GeoGebra制約エンジンとのエージェント相互作用に潜時空間推論から幾何推論を再キャストするフレームワークDraw2Thinkを提案する。
  論文  参考訳（メタデータ） (2026-05-20T05:46:14Z)
• ATLAS: Constitution-Conditioned Latent Geometry and Redistribution Across Language Models and Neural Perturbation Data [0.0]
  構成条件付きポストトレーニングは、モデルが学習した表現幾何学の構造化摂動として分析することができる。 グラフ, モデル, 基板間の構成による隠れ状態構造をトレースする, 幾何学第一のプログラムATLASを紹介する。
  論文  参考訳（メタデータ） (2026-04-19T23:26:02Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• OrientedFormer: An End-to-End Transformer-Based Oriented Object Detector in Remote Sensing Images [26.37802649901314]
  リモートセンシング画像におけるオブジェクト指向物体検出は、複数方向のオブジェクトが分散しているため、難しい課題である。 これらの問題に対処する3つの専用モジュールからなるエンドツーエンドのトランスフォーマベース指向オブジェクト検出器を提案する。 従来のエンドツーエンド検出器と比較して、OrientedFormerはDIOR-RとDOTA-v1.0でそれぞれ1.16および1.21 AP$_50$を獲得し、トレーニングエポックを3$times$から1$times$に下げる。
  論文  参考訳（メタデータ） (2024-09-29T10:36:33Z)
• GeoTransformer: Fast and Robust Point Cloud Registration with Geometric Transformer [63.85771838683657]
  点雲登録のための正確な対応を抽出する問題について検討する。 最近のキーポイントフリー法は、繰り返し可能なキーポイントの検出をバイパスすることで大きなポテンシャルを示している。 そこで我々は,Geometric Transformer (Geo Transformer) を略して提案し,ロバストなスーパーポイントマッチングのための幾何学的特徴を学習する。
  論文  参考訳（メタデータ） (2023-07-25T02:36:04Z)
• Robust Table Structure Recognition with Dynamic Queries Enhanced Detection Transformer [15.708108572696062]
  本稿では,TSRFormerと呼ばれる新しいテーブル構造認識手法を提案する。 これらの新しい手法により、我々のTSRFormerは、SciTSR、PubTabNet、WTW、FinTabNetなど、いくつかのベンチマークデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-03-21T06:20:49Z)
• Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
  我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。 形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
  論文  参考訳（メタデータ） (2022-08-01T17:45:36Z)
• Geometric Transformer for Fast and Robust Point Cloud Registration [53.10568889775553]
  点雲登録のための正確な対応を抽出する問題について検討する。 最近のキーポイントフリー手法は、低オーバーラップシナリオでは難しい繰り返し可能なキーポイントの検出を回避している。 本稿では,ロバストなスーパーポイントマッチングのための幾何学的特徴を学習するための幾何学変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T13:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。