論文の概要: Zero-Direction Probing: A Linear-Algebraic Framework for Deep Analysis of Large-Language-Model Drift

• arxiv url: http://arxiv.org/abs/2508.06776v1
• Date: Sat, 09 Aug 2025 02:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.544107
• Title: Zero-Direction Probing: A Linear-Algebraic Framework for Deep Analysis of Large-Language-Model Drift
• Title（参考訳）: Zero-Direction Probing:Language-Model Driftの深部解析のための線形代数的フレームワーク
• Authors: Amit Pandey,
• Abstract要約: ZDPは、タスクラベルや出力評価を使わずに、トランスフォーマーアクティベーションの無効方向からモデルドリフトを検出するための理論のみのフレームワークである。 非漸近尾境界と濃度不等式を持つスペクトル核漏れ測定値が導出され,ガウスヌルモデルの下でのドリフトに対するa-プリオリしきい値が得られた。
• 参考スコア（独自算出の注目度）: 0.8835302263821198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Zero-Direction Probing (ZDP), a theory-only framework for detecting model drift from null directions of transformer activations without task labels or output evaluations. Under assumptions A1--A6, we prove: (i) the Variance--Leak Theorem, (ii) Fisher Null-Conservation, (iii) a Rank--Leak bound for low-rank updates, and (iv) a logarithmic-regret guarantee for online null-space trackers. We derive a Spectral Null-Leakage (SNL) metric with non-asymptotic tail bounds and a concentration inequality, yielding a-priori thresholds for drift under a Gaussian null model. These results show that monitoring right/left null spaces of layer activations and their Fisher geometry provides concrete, testable guarantees on representational change.
• Abstract（参考訳）: ZDP(Zero-Direction Probing)は,タスクラベルや出力評価を使わずに,トランスフォーマーアクティベーションの無効方向からモデルドリフトを検出するための理論のみのフレームワークである。 仮定 A1--A6 で証明する。 (i)変数--リーク理論 (二)漁労保存 (三)位階-低位更新の覚書、 (iv)オンラインのnullスペーストラッカーに対する対数-regret保証。 非漸近尾境界と濃度不等式を持つスペクトル核漏れ測定値(SNL)を導出し,ガウスヌルモデルの下でのドリフトに対するa-プリオリしきい値を得た。 これらの結果は、層活性化の左右のヌル空間のモニタリングとそのフィッシャー幾何学が、表現的変化の具体的かつ検証可能な保証を提供することを示している。

関連論文リスト

• Online Inference for Quantiles by Constant Learning-Rate Stochastic Gradient Descent [4.2694059987063655]
  本稿では,理論的保証付き量子損失関数の学習速度を一定としたオンライン勾配勾配勾配推定法を提案する。 数値解析により,提案した量子推定器の強い有限サンプル性能と推定法が示された。
  論文  参考訳（メタデータ） (2025-03-04T01:37:42Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version) [12.029919627622954]
  微分不可能な正則化をもつ一般化線形モデル族において、幅広い問題に対する新しい理論を提案する。 n/p と SNR が固定され有界である間、|ALO - LO| は p が無限大に進むにつれて 0 となることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:48:10Z)
• Nonlinear gradient mappings and stochastic optimization: A general framework with applications to heavy-tail noise [11.768495184175052]
  本稿では,勾配雑音が重みを示す場合の非線形勾配降下シナリオに関する一般的な枠組みを紹介する。 有界出力を持つ非線形性や1より大きい順序の有限モーメントを持たない勾配雑音に対して、非線形SGDは速度$O(/tzeta)$, $zeta in (0, 1)$でゼロに収束することを示す。 実験により、我々のフレームワークは、ヘビーテールノイズ下でのSGDの既存研究よりも汎用的であるが、我々のフレームワークから実装が容易ないくつかの非線形性は、実際のデータセット上のアート代替品の状況と競合することを示した。
  論文  参考訳（メタデータ） (2022-04-06T06:05:52Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Zero-Truncated Poisson Regression for Sparse Multiway Count Data Corrupted by False Zeros [0.0]
  提案手法は, 偽零点によって破損したマルチウェイカウントデータに対する新しい統計的推論手法を提案する。 我々のアプローチはポアソン分布をゼロに切り換えてすべてのゼロ値を無視している。
  論文  参考訳（メタデータ） (2022-01-25T00:09:48Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。