論文の概要: ASK-NN: An Asymmetric Nearest-Neighbor Test that detects Distribution Drifts in Natural Language
- arxiv url: http://arxiv.org/abs/2607.15607v1
- Date: Fri, 17 Jul 2026 04:06:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.746584
- Title: ASK-NN: An Asymmetric Nearest-Neighbor Test that detects Distribution Drifts in Natural Language
- Title(参考訳): ASK-NN:自然言語の分布ドリフトを検出する非対称近傍試験
- Abstract要約: LLM出力における幻覚や人工テキストは、しばしばプロンプトと応答の隠れ状態分布の間の分布偏差として現れる。
k-nearest-neighbor グラフに基づく非対称な2サンプル試験 ASK-NN を考える。
- 参考スコア(独自算出の注目度): 8.729988313517252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hallucinations and artificial text in LLM-generated outputs often appear as distributional deviations between prompt and response hidden-state distributions. Since prompts or retrieved contexts typically serve as reference samples and responses as query samples, with major differences in length, these asymmetries motivate the use of change test statistics that treat the two samples differently. We consider an asymmetric two-sample test ASK-NN based on the directed k-nearest-neighbor graph. Our statistic counts reference points whose nearest neighbor in the pooled sample is also a reference point. Under the permutation null, it admits an exact finite-sample conditional mean and variance; we further establish asymptotic normality and consistency under fixed alternatives. ASK-NN is computationally effective and easy to implement. Empirically, it is competitive with kernel and graph-based baselines on synthetic benchmarks, artificial-text detection, and LLM hallucination detection from token-level hidden states.
- Abstract(参考訳): LLM出力における幻覚や人工テキストは、しばしばプロンプトと応答の隠れ状態分布の間の分布偏差として現れる。
プロンプトまたは検索されたコンテキストは、通常、クエリサンプルとして参照サンプルとレスポンスとして機能し、長さに大きな違いがあるため、これらの対称性は、2つのサンプルを異なる方法で扱う変更テスト統計の使用を動機付けている。
我々は,k-nearest-neighbor グラフに基づく非対称な2サンプル試験 ASK-NN について検討する。
我々の統計学的には、プールされたサンプルに最も近い参照点も参照点である。
置換 null の下では、厳密な有限サンプル条件平均と分散を認め、固定された代替条件の下で漸近正規性と一貫性を確立する。
ASK-NNは計算効率が高く実装が容易である。
経験的には、カーネルとグラフベースのベースラインの合成ベンチマーク、人工テキスト検出、トークンレベルの隠れ状態からのLLM幻覚検出と競合する。
関連論文リスト
- Marginal Coordinate Test for Fréchet Regression with Random Objects [15.929485404318557]
分離可能な距離空間におけるユークリッド予測器とランダムオブジェクト応答を用いた回帰テストを開発する。
我々は、重み付けされた中央2乗のヌル限界、ワイルドブートストラップの有効性、および固定検出可能な代替品に対する一貫性を確立する。
同時推論では、truncated p-to-e calibrationとe-BHを組み合わせることで、一般的な依存下での誤検出率の制御が可能になる。
論文 参考訳(メタデータ) (2026-08-31T11:48:12Z) - Zero-Flow Two-Sample Tests [47.04254380987003]
そこで本研究では,2組のサンプルが同一分布から抽出されるか否かを判定するための2サンプル試験手法を提案する。
この試験はゼロフロー整合性(ゼロフロー整合性)(ZFD)というゼロフロー整合性(ゼロフロー整合性)に基づく統計的整合性の上に構築される。
我々はZFDの有効性を証明し、ゼロフロー2サンプルテスト(ZF2ST)と呼ばれる実用的な試験手順を提案する。
論文 参考訳(メタデータ) (2026-07-23T17:27:23Z) - Novelty detection on path space [13.042396048879242]
我々は,署名に基づくテスト統計を用いた仮説テスト問題として,経路空間の新規性検出を行う。
条件付きリスク(CVaR)のスムーズなサロゲートの正確な式を期待シグネチャの観点から導出する。
我々は,数値的に-$mathrmI$エラーとシグネチャベースのテスト統計量の統計的パワーを評価する。
論文 参考訳(メタデータ) (2025-12-02T21:25:03Z) - A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。
最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。
そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
論文 参考訳(メタデータ) (2025-06-10T12:41:26Z) - Statistical Hypothesis Testing for Auditing Robustness in Language Models [49.1574468325115]
本稿では,摂動解析を頻繁な仮説テスト問題として再検討するフレームワークである分布に基づく摂動解析を紹介する。
モンテカルロサンプリングを用いて低次元意味的類似性空間内に経験的ヌルおよび代替出力分布を構築する。
反応変化の定量化、正/偽の正率の測定、参照モデルとの整合性の評価について述べる。
論文 参考訳(メタデータ) (2025-06-09T17:11:07Z) - Doubly Robust Conditional Independence Testing with Generative Neural Networks [8.323172773256449]
本稿では、第3の確率ベクトル$Z$を与えられた2つのジェネリックランダムベクトル$X$と$Y$の条件独立性をテストする問題に対処する。
条件分布を明示的に推定しない新しい非パラメトリック試験法を提案する。
論文 参考訳(メタデータ) (2024-07-25T01:28:59Z) - Collaborative non-parametric two-sample testing [55.98760097296213]
目標は、null仮説の$p_v = q_v$が拒否されるノードを特定することである。
グラフ構造を効率的に活用する非パラメトリックコラボレーティブ2サンプルテスト(CTST)フレームワークを提案する。
提案手法は,f-divergence Estimation, Kernel Methods, Multitask Learningなどの要素を統合する。
論文 参考訳(メタデータ) (2024-02-08T14:43:56Z) - Nearest-Neighbor Sampling Based Conditional Independence Testing [15.478671471695794]
条件付きランダム化テスト (CRT) は、2つの確率変数 X と Y が条件付き独立な与えられた確率変数 Z であるかどうかをテストするために最近提案された。
本研究の目的は, 与えられたXの分布の正確な形式を仮定することなく, 隣り合うサンプリングを用いて, CRTの新たな代替品を開発することである。
論文 参考訳(メタデータ) (2023-04-09T07:54:36Z) - Active Sequential Two-Sample Testing [18.99517340397671]
サンプル測定が安価に利用できる新しいシナリオでは,この2サンプルテストの問題を考慮する。
我々は,emphactiveNIST-sampleテストフレームワークを考案し,逐次クエリだけでなく,emphactivelyクエリも考案した。
実際に、我々はフレームワークのインスタンス化を導入し、いくつかの実験を用いて評価する。
論文 参考訳(メタデータ) (2023-01-30T02:23:49Z) - Near-Optimal Non-Parametric Sequential Tests and Confidence Sequences
with Possibly Dependent Observations [44.71254888821376]
我々は、一般的な非データ生成プロセスの下で、最初のタイプIエラーと予測リジェクション時間保証を提供する。
本研究では, 平均処理効果など, 方程式を推定することによって定義されるパラメータの推測に, 結果を適用する方法を示す。
論文 参考訳(メタデータ) (2022-12-29T18:37:08Z) - Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。
本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
論文 参考訳(メタデータ) (2022-10-26T03:19:24Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳(メタデータ) (2022-02-09T06:05:05Z) - On Matched Filtering for Statistical Change Point Detection [13.64446865914411]
非パラメトリックランダム性と分布自由な2サンプルテストは多くの変更点検出アルゴリズムの基礎となっている。
本稿では,変化の時間的シグネチャにマッチするフィルタを導出し,適用することにより,これらの課題に対処する。
提案手法は, アドホック後処理を使わずに, 変更点の局所化を可能にする。
論文 参考訳(メタデータ) (2020-06-09T22:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。