論文の概要: Whitening Reveals Cluster Commitment as the Geometric Separator of Hallucination Types
- arxiv url: http://arxiv.org/abs/2603.07755v1
- Date: Sun, 08 Mar 2026 18:12:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:15.194419
- Title: Whitening Reveals Cluster Commitment as the Geometric Separator of Hallucination Types
- Title(参考訳): 幻覚型幾何学分離器としてのホワイトニングのクラスタコミット
- Abstract要約: 幾何学的分類法は、3つの障害タイプを区別する - Center-drift (Type1), wrong-well convergence (Type2), coverage gaps (Type3)
以前の研究では、フル次元の文脈測定ではTypes1とTypes2が区別できないことが判明した。
GPT-2-small上でのPCA白化と固有スペクトル分解によってこの問題に対処する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A geometric hallucination taxonomy distinguishes three failure types -- center-drift (Type~1), wrong-well convergence (Type~2), and coverage gaps (Type~3) -- by their signatures in embedding cluster space. Prior work found Types~1 and~2 indistinguishable in full-dimensional contextual measurement. We address this through PCA-whitening and eigenspectrum decomposition on GPT-2-small, using multi-run stability analysis (20 seeds) with prompt-level aggregation. Whitening transforms the micro-signal regime into a space where peak cluster alignment (max\_sim) separates Type~2 from Type~3 at Holm-corrected significance, with condition means following the taxonomy's predicted ordering: Type~2 (highest commitment) $>$ Type~1 (intermediate) $>$ Type~3 (lowest). A first directionally stable but underpowered hint of Type~1/2 separation emerges via the same metric, generating a capacity prediction for larger models. Prompt diversification from 15 to 30 prompts per group eliminates a false positive in whitened entropy that appeared robust at the smaller set, demonstrating prompt-set sensitivity in the micro-signal regime. Eigenspectrum decomposition localizes this artifact to the dominant principal components and confirms that Type~1/2 separation does not emerge in any spectral band, rejecting the spectral mixing hypothesis. The contribution is threefold: whitening as preprocessing that reveals cluster commitment as the theoretically correct separating metric, evidence that the Type~1/2 boundary is a capacity limitation rather than a measurement artifact, and a methodological finding about prompt-set fragility in near-saturated representation spaces.
- Abstract(参考訳): 幾何学的幻覚分類法は、3つの障害タイプを区別する - center-drift (Type~1), wrong-well convergeence (Type~2), coverage gaps (Type~3) - を、埋め込みクラスタ空間のシグネチャで区別する。
以前の研究では、フル次元の文脈測定では Types~1 と~2 が区別できないことが判明した。
我々は, GPT-2-小粒子上でのPCA-白化および固有スペクトル分解により, 即時凝集を伴う多段安定性解析(20種)を用いてこの問題に対処する。
ホワイトニングは、ピーククラスタアライメント(max\_sim)がタイプ~2とタイプ~3をホルム補正された重要度で分離する空間に変換し、条件平均は分類学の予測された順序に従う: Type~2 (highest commitment) $>$ Type~1 (intermediate) $>$ Type~3 (lowest)。
タイプ~1/2分離の最初の方向が安定だが、パワー不足のヒントが同じ距離で出現し、より大きなモデルのキャパシティ予測が生成される。
グループごとに15から30のプロンプトの多様化は、小さなセットで頑健に見える白色のエントロピーにおいて偽陽性のエントロピーを排除し、マイクロシグナル系において即時的な感度を示す。
固有スペクトル分解(Eigenspectrum decomposition)は、このアーティファクトを主成分にローカライズし、タイプ~1/2分離がスペクトルバンドに現れないことを確認し、スペクトル混合仮説を拒絶する。
コントリビューションは3つある: クラスタのコミットメントを理論上正しい分離計量として明らかにする前処理としての白化、タイプ~1/2境界が測定アーティファクトではなくキャパシティ制限であることを示す証拠、および近飽和表現空間におけるプロンプトセットの不安定性に関する方法論的発見である。
関連論文リスト
- Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳(メタデータ) (2026-08-10T19:42:01Z) - UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space [5.617711361190723]
大規模視覚言語モデル(LVLM)は、強いマルチモーダル推論能力を示すが、幻覚の傾向が残る。
既存のブラックボックス幻覚検出手法は、単一整合度で不確実性を推定する。
我々は,幻覚を構造的不確実性パターンとしてモデル化する完全ブラックボックスフレームワークであるemphUnique Hallucination Pattern (UHP) Detectionを提案する。
論文 参考訳(メタデータ) (2026-08-04T15:25:30Z) - Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima [39.50927136881194]
勾配降下理論(GD)における重要な量は、目標ヘッセンの最大の固有値として定義されるエンフシャープ性である。
最近の作業は、エンフィングルスカラー出力を持つオーバーパラメータ最小二乗の設定におけるこのギャップを橋渡しする
本研究の枠組みは軽微な仮定の下での深い行列分解に適用され, 新たな構造的結果が得られた。
論文 参考訳(メタデータ) (2026-07-09T11:58:44Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳(メタデータ) (2026-05-26T02:48:34Z) - GeoFlowVLM: Geometry-Aware Joint Uncertainty for Frozen Vision-Language Embedding [3.0708725114491293]
ペア化された$ell$-normalized dual-encoder VLM の結合分布を学習するポストホックアダプタとして textbfGeoFlowVLM を提案する。
整合性の結果, 人口制限下では, トレーニングされたネットワークは, 接合流と両モード条件流を露呈することがわかった。
この単一モデルから2つの量を得る:Fano型境界による決定論的解釈でアレター的曖昧さを定量化する条件付き検索エントロピーと、関節NLLの正確な連鎖ルール分解によって正当化される限界特異性スコアである。
論文 参考訳(メタデータ) (2026-05-13T11:12:18Z) - From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction [0.0]
幾何学的幻覚分類法が幻覚のタイプを識別できるかどうかを検証する。
1 と 2 はどちらの空間でも分離しない。
Type1/2非分離は124Mパラメータで真である。
論文 参考訳(メタデータ) (2026-02-27T20:56:59Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳(メタデータ) (2026-02-26T15:27:53Z) - Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures [0.0]
トークン埋め込みクラスタ構造における観測可能なシグネチャに基づく大規模言語モデル幻覚の幾何学的分類法を提案する。
そこで本研究では,弱い環境下での1型(中心ドリフト)と,局所的コヒーレントだが文脈的に不正確なクラスタ領域への2型(ロングウェルコンバージェンス)と,クラスター構造が存在しない3型(カバーギャップ)の3つの機能的に異なる幻覚型を同定した。
論文 参考訳(メタデータ) (2026-02-15T18:14:10Z) - Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。
バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。
全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
論文 参考訳(メタデータ) (2025-11-14T15:17:37Z) - Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。
我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。
次に,新しい2段階クラスタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-06-02T05:10:40Z) - Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。
そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。
良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。
我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
論文 参考訳(メタデータ) (2023-12-25T01:00:58Z) - Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model:
A new take on Robust Interpolation [5.98367009147573]
2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。
その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
論文 参考訳(メタデータ) (2021-11-13T05:19:37Z) - Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning [49.04790688256481]
一般化ゼロショット学習(GZSL)の目的は、目に見えないクラスと見えないクラスの両方を認識することである。
ほとんどのGZSLメソッドは、通常、見えないクラスの意味情報から視覚表現を合成することを学ぶ。
本論文では,三重項損失を持つ2重変分オートエンコーダを利用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-09T05:21:27Z) - Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral
Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
本稿では,超スペクトル部分空間解析のための新しい手法を提案する。
この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。
2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
論文 参考訳(メタデータ) (2020-09-21T16:29:59Z) - Quantum anomalous Hall phase in synthetic bilayers via twistless
twistronics [58.720142291102135]
我々は超低温原子と合成次元に基づく「ツイストロン様」物理学の量子シミュレータを提案する。
本研究では,適切な条件下でのトポロジカルバンド構造を示す。
論文 参考訳(メタデータ) (2020-08-06T19:58:05Z) - Efficient Clustering for Stretched Mixtures: Landscape and Optimality [4.2111286819721485]
本稿では,2つの楕円分布の平衡混合から抽出された未ラベルのサンプルを受信する正準クラスタリング問題について考察する。
非最適クラスタリング関数は、サンプルサイズが一定の統計的目標を超えると、望ましい幾何学的性質を示す。
論文 参考訳(メタデータ) (2020-03-22T17:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。