論文の概要: The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations
- arxiv url: http://arxiv.org/abs/2605.09195v1
- Date: Sat, 09 May 2026 22:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.107856
- Title: The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations
- Title（参考訳）: 蓄積の幾何学:LLM表現の独立軸としての時間的知識ドリフト
- Authors: Rania Elbadry, Ahmed Heakl, Fan Zhang, Dani Bouch, Yuxia Wang, Preslav Nakov, Zhuohan Xie,
- Abstract要約: 大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
- 参考スコア（独自算出の注目度）: 50.43168858368539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models confidently produce outdated answers, and no existing method can detect them. We show this is not an engineering failure but a structural one: temporal drift, whether a stored fact has changed since training, is encoded as a direction in the residual stream geometrically orthogonal to both correctness and uncertainty. Any method operating on correctness or uncertainty signals is therefore blind to drift by construction. We verify this across six instruction-tuned models. A linear probe trained directly on drift labels achieves AUROC $0.83$--$0.95$; methods based on token entropy, semantic entropy, CCS, and SAPLMA all remain near chance ($0.49$--$0.57$). Five tests confirm the geometric orthogonality: weight cosines ($|\cos| \leq 0.14$), score correlations ($|r| \leq 0.20$), bidirectional null-space projection ($|Δ| \leq 0.008$), iterative null-space projection with $k{=}10$, and difference-of-means dissociation. Mechanistically, the MLP retrieval circuit produces identical dynamics for stale recall and confabulation ($r > 0.81$, six models), explaining why output confidence cannot separate them. A cross-cutoff experiment holds inputs constant and varies only the model: the probe fires on the model whose training predates the fact's transition and stays silent otherwise ($P(A{>}B) = 0.975$--$0.998$, twelve model pairs), confirming it reads model-internal knowledge state rather than input properties. Our code and datasets will be publicly released.
- Abstract（参考訳）: 大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
記憶された事実がトレーニングから変化したかどうかに関わらず、時間的ドリフトは、幾何的に正当性と不確実性の両方に直交する残留流の方向として符号化される。
したがって、正確性や不確実性信号を操作する方法は、建設によって漂流することができない。
6つの命令調整モデルにまたがってこれを検証する。
ドリフトラベルを直接訓練した線形プローブは、AUROC $0.83$-0.95$; トークンエントロピー、セマンティックエントロピー、CS、SAPLMAに基づくメソッドは、いずれも0.49$--0.57$に近い確率で残っている。
重みコサイン(|\cos| \leq 0.14$)、スコア相関(|r| \leq 0.20$)、双方向ヌル空間射影(|Δ| \leq 0.008$)、反復ヌル空間射影($k{=}10$)、差分解離( difference-of-means dissociation)である。
機械的に、MLP検索回路は、なぜ出力信頼度がそれらを分離できないのかを説明する、古いリコールと折り畳み(r > 0.81$, 6 モデル)の同じダイナミクスを生成する。
クロスカット実験は入力を一定に保ち、モデルのみを変化させる: 訓練が事実の遷移より先行するモデルに発射し、それ以外は沈黙し続ける(P(A{>}B) = 0.975$--$0.998$, 12モデルペア)。
コードとデータセットは公開されます。
関連論文リスト
- Information Routing in Atomistic Foundation Models: How Task Alignment and Equivariance Shape Linear Disentanglement [0.0]
本稿では,合成信号を線形に投影し,リッジプローブへの幾何的情報アクセス量を測定する合成プローブ分解(CPD)について紹介する。
モデルは、合成除去後にアクセス可能な幾何学的情報で6.6倍の差がある。
また, 非線形プローブは, 残留化表現に対して誤った導出結果をもたらし, 純合成対象に対して$R2 = 0.68$--0.95$を回収し, この設定に対して線形プローブを推奨することを示した。
論文 参考訳（メタデータ） (2026-03-03T16:52:06Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - IT$^3$: Idempotent Test-Time Training [95.78053599609044]
ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。
Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。
この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
論文 参考訳（メタデータ） (2024-10-05T15:39:51Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳（メタデータ） (2022-11-28T18:52:33Z) - Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture
Models [12.746888269949407]
2進隠れマルコフモデルに対する高次元平均推定問題を考える。
ほぼ最小限の誤差率(対数係数まで)を $|theta_*|,delta,d,n$ の関数として確立する。
論文 参考訳（メタデータ） (2022-06-06T09:34:04Z) - Online Robust Regression via SGD on the l1 loss [19.087335681007477]
ストリーミング方式でデータにアクセス可能なオンライン環境において、ロバストな線形回帰問題を考察する。
この研究で、$ell_O( 1 / (1 - eta)2 n )$損失の降下は、汚染された測定値に依存しない$tildeO( 1 / (1 - eta)2 n )$レートで真のパラメータベクトルに収束することを示した。
論文 参考訳（メタデータ） (2020-07-01T11:38:21Z) - How isotropic kernels perform on simple invariants [0.5729426778193397]
等方性カーネル手法のトレーニング曲線は、学習すべきタスクの対称性に依存するかを検討する。
大規模な帯域幅では、$beta = fracd-1+xi3d-3+xi$, where $xiin (0,2)$ がカーネルのストライプを原点とする指数であることを示す。
論文 参考訳（メタデータ） (2020-06-17T09:59:18Z) - Quantum Algorithms for Simulating the Lattice Schwinger Model [63.18141027763459]
NISQとフォールトトレラントの両方の設定で格子シュウィンガーモデルをシミュレートするために、スケーラブルで明示的なデジタル量子アルゴリズムを提供する。
格子単位において、結合定数$x-1/2$と電場カットオフ$x-1/2Lambda$を持つ$N/2$物理サイト上のシュウィンガーモデルを求める。
NISQと耐故障性の両方でコストがかかるオブザーバブルを、単純なオブザーバブルとして推定し、平均ペア密度を推定する。
論文 参考訳（メタデータ） (2020-02-25T19:18:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。