論文の概要: How Transformers Reject Wrong Answers: Rotational Dynamics of Factual Constraint Processing

• arxiv url: http://arxiv.org/abs/2603.13259v1
• Date: Wed, 25 Feb 2026 08:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.240311
• Title: How Transformers Reject Wrong Answers: Rotational Dynamics of Factual Constraint Processing
• Title（参考訳）: 変圧器が解答を拒否する方法:実制約処理の回転ダイナミクス
• Authors: Javier Marín,
• Abstract要約: モデル処理が誤り継続に対して正しい場合,内部表現がネットワークの全深度にわたってどのように分散するかを検討する。 本稿では,既知の正確かつ不正な単一トークン継続で同一のクエリを提示する手法である強制補完探索を導入する。 まず, 正しい経路と誤経路が回転によって分岐し, 再スケーリングは行わない。 第二に、モデルは間違った入力に対して受動的に失敗せず、正しい答えを積極的に抑制し、内部確率を正しいトークンから遠ざける。
• 参考スコア（独自算出の注目度）: 0.2538209532048866
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When a language model is fed a wrong answer, what happens inside the network? Current understanding treats truthfulness as a static property of individual-layer representations-a direction to be probed, a feature to be extracted. Less is known about the dynamics: how internal representations diverge across the full depth of the network when the model processes correct versus incorrect continuations. We introduce forced-completion probing, a method that presents identical queries with known correct and incorrect single-token continuations and tracks five geometric measurements across every layer of four decoder-only models(1.5B-13B parameters). We report three findings. First, correct and incorrect paths diverge through rotation, not rescaling: displacement vectors maintain near-identical magnitudes while their angular separation increases, meaning factual selection is encoded in direction on an approximate hypersphere. Second, the model does not passively fail on incorrect input-it actively suppresses the correct answer, driving internal probability away from the right token. Third, both phenomena are entirely absent below a parameter threshold and emerge at 1.6B, suggesting a phase transition in factual processing capability. These results show that factual constraint processing has a specific geometric character-rotational, not scalar; active, not passive-that is invisible to methods based on single-layer probes or magnitude comparisons.
• Abstract（参考訳）: 言語モデルに間違った回答が与えられると、ネットワーク内で何が起こるのか? 現在の理解は、真理性を個々の層表現の静的特性として扱い、探索すべき方向、抽出すべき特徴である。 内部表現がネットワークの全深度にわたってどのようにばらばらになるかは、モデル処理が正しい場合と間違った継続の場合である。 本稿では,4つのデコーダのみのモデル(1.5B-13Bパラメータ)のすべての層にまたがる5つの幾何学的計測結果を追跡する。 我々は3つの発見を報告した。 変位ベクトルは、角分離が増加する一方、ほぼ同一の等級を維持する。つまり、実数選択は近似超球面上で方向に符号化される。 第二に、モデルは間違った入力に対して受動的に失敗せず、正しい答えを積極的に抑制し、内部確率を正しいトークンから遠ざける。 第3に、両方の現象はパラメータしきい値以下に完全に欠落し、1.6Bで出現し、実際の処理能力の相転移が示唆される。 これらの結果から,実際の制約処理はスカラーではなく,特定の幾何学的文字回転を持つことが明らかとなった。

関連論文リスト

• On the phase diagram of extensive-rank symmetric matrix denoising beyond rotational invariance [5.058205542605482]
  我々は、信号が因子行列 $XXintercal$ で回転不変でないとき、行列の分解の理解に向けて前進する。 我々は、因子化(すなわち、$X$自身を推定する)が不可解な普遍性(英語版)(insolvable universality)まで可能となるのは、遷移を超えてのみであると主張する。
  論文  参考訳（メタデータ） (2024-11-04T10:50:37Z)
• Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
  ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。 これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。 本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T09:47:29Z)
• Diff-Reg v1: Diffusion Matching Model for Registration Problem [34.57825794576445]
  既存の手法では、幾何学的あるいは意味的な特徴を利用して潜在的な対応を生成する。 従来はシングルパス予測に頼っていた手法は、複雑なシナリオにおいて局所的なミニマと競合する可能性がある。 本稿では,ロバスト対応推定のための拡散マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-29T02:10:38Z)
• DVMNet++: Rethinking Relative Pose Estimation for Unseen Objects [59.51874686414509]
  既存のアプローチでは、通常、接地構造オブジェクト境界ボックスと、多数の離散仮説を持つ近似3次元回転を用いて3次元翻訳を予測している。 本稿では,1回のパスで相対オブジェクトのポーズを計算するDeep Voxel Matching Network (DVMNet++)を提案する。 提案手法は,最先端手法と比較して計算コストの低い新しいオブジェクトに対して,より正確な相対的ポーズ推定を行う。
  論文  参考訳（メタデータ） (2024-03-20T15:41:32Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Zero Pixel Directional Boundary by Vector Transform [77.63061686394038]
  我々は境界を1次元曲面として再解釈し、1対1のベクトル変換関数を定式化し、クラス不均衡問題を完全に回避する境界予測の訓練を可能にする。 我々の問題定式化は、境界の方向推定だけでなく、よりリッチなコンテキスト情報もたらし、もし望めば、訓練時にもゼロピクセルの薄い境界が利用可能となる。
  論文  参考訳（メタデータ） (2022-03-16T17:55:31Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。