論文の概要: Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

• arxiv url: http://arxiv.org/abs/2605.03196v1
• Date: Mon, 04 May 2026 22:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.665889
• Title: Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability
• Title（参考訳）: 教師なしプレジェネレーション信頼性信号としての幾何学的偏差:解答性のためのLLM表現の提案
• Authors: Yucheng Du,
• Abstract要約: 信頼できる言語モデルは、クエリが知識の外に落ちたときに、生成前に信号を送ることができるべきである。 我々は,表現幾何学が,応答可能な参照集合からの隠れ状態の偏差を測定することによって,そのような前世代信号を提供できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A reliable language model should be able to signal, prior to generation, when a query falls outside its knowledge. We investigate whether representation geometry can provide such a pre-generation signal by measuring the deviation of hidden states from an answerable reference set, requiring no labeled failure data and no access to model outputs. Across three instruction-tuned models (Llama 3.1-8B, Qwen 2.5-7B, and Mistral-7B-Instruct) and three prompt forms (Math, Fact, Code), we find that geometry primarily encodes task form. Within mathematical prompts, unanswerable inputs consistently deviate from the answerable centroid, yielding strong separation (ROC-AUC 0.78-0.84). This single-pass pre-generation signal outperforms a simple refusal baseline and compares favorably to self-consistency. It also captures cases where models do not explicitly refuse. In contrast, no reliable geometric signal emerges for factual prompts, indicating that the effect is form-conditional rather than universal. Code prompts show large effect sizes with higher variance, suggesting partial generalization beyond mathematical form. A layer-wise analysis reveals that the signal arises in early layers and gradually attenuates toward the output. These results suggest that answerability-related geometry is established before the final stages of generation. Together, these findings indicate that geometric deviation can serve as a lightweight pre-generation signal that is reliable in structured domains with formal answerability constraints, with clear boundaries on where it generalizes.
• Abstract（参考訳）: 信頼できる言語モデルは、クエリが知識の外に落ちたときに、生成前に信号を送ることができるべきである。 表現幾何は、応答可能な参照集合からの隠れ状態の偏差を測定し、ラベル付き故障データやモデル出力へのアクセスを必要としないことにより、そのような前世代の信号を提供できるかどうかを考察する。 3つの命令調整モデル(Llama 3.1-8B, Qwen 2.5-7B, Mistral-7B-Instruct)と3つのプロンプト形式(Math, Fact, Code)で、幾何学が主にタスク形式を符号化していることが分かる。 数学的プロンプトの中では、解答不能な入力は解答可能なセントロイドから常に逸脱し、強い分離(ROC-AUC 0.78-0.84)をもたらす。 このシングルパス前世代信号は、単純な拒絶ベースラインより優れ、自己整合性に好適に比較される。 また、モデルが明示的に拒否しないケースもキャプチャする。 対照的に、事実的プロンプトに対して信頼できる幾何学的信号が現れることはなく、その効果が普遍的ではなく形式的条件であることを示している。 符号プロンプトは、より分散度の高い大きな効果の大きさを示し、数学的形式を超えた部分的な一般化を示唆する。 層ワイズ分析により、信号は初期の層で発生し、徐々に出力に向かって減衰することが明らかになった。 これらの結果は、生成の最終段階の前に解答可能性に関連する幾何学が確立されていることを示唆している。 これらの結果は、幾何学的偏差が、形式的応答性制約のある構造的領域において信頼性の高い軽量な前世代信号として機能し、その一般化点に明確な境界があることを示唆している。

関連論文リスト

• Structural Rigidity and the 57-Token Predictive Window: A Physical Framework for Inference-Layer Governability in Large Language Models [0.0]
  現在のAIの安全性は、行動監視とトレーニング後のアライメントに依存している。 実験的な測定は、これらのアプローチは検出可能な事前コミット信号を生成しないことを示している。 本稿では,トランスフォーマー推論のダイナミクスを制約満足度モデルに結合するエネルギーベースのガバナンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-04T00:08:17Z)
• Finding Belief Geometries with Sparse Autoencoders [0.0]
  本稿では,変圧器表現における単純な部分空間の候補を求めるパイプラインを提案する。 隠れマルコフモデルを用いて学習した変圧器上でのパイプラインの検証を行った。 真の信念のような幾何学がGemma-2-9Bの表現空間に存在するという予備的な証拠がある。
  論文  参考訳（メタデータ） (2026-04-03T03:29:48Z)
• Milestones over Outcome: Unlocking Geometric Reasoning with Sub-Goal Verifiable Reward [67.00373428443879]
  サブゴールレベルの評価と学習へのパラダイムシフトを導入する。 まず,厳密な形式検証データエンジンを用いたベンチマークであるGeoGoalを構築した。 本研究では,スケルトンレートに基づいて,スパース信号を高密度な報酬に置き換えるサブゴール検証リワード(SGVR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T16:17:56Z)
• Coupled Data and Measurement Space Dynamics for Enhanced Diffusion Posterior Sampling [27.146380722473932]
  ノイズや不完全な測定から未知の信号を回復することが目的の逆問題であり、医療画像、リモートセンシング、計算生物学の中心である。 本稿では,空間拡散後サンプリング(C-DPS)と呼ばれる新しいフレームワークを提案する。 C-DPSは、複数の逆問題ベンチマークにおいて、定性的かつ定量的に、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-10-08T18:59:16Z)
• OracleGS: Grounding Generative Priors for Sparse-View Gaussian Splatting [78.70702961852119]
  OracleGSは、Gaussian Splattingのスパースビューのために、生成的完全性と回帰的忠実性を調整している。 提案手法は,多視点幾何学的証拠に先立って強力な生成条件を定め,幻覚的アーティファクトをフィルタリングし,非拘束領域における可塑性完備を保存している。
  論文  参考訳（メタデータ） (2025-09-27T11:19:32Z)
• Geometric Autoencoder Priors for Bayesian Inversion: Learn First Observe Later [4.346172386676835]
  物理応答の幾何認識生成モデルを学ぶためのフレームワークであるGABI(Geometric Autoencoders for Bayesian Inversion)を紹介する。 本研究では, 矩形領域上の定常熱, 翼まわりを流れるレイノルズ平均ナビエストークス(RANS), ヘルムホルツ共鳴と3次元車体へのソースローカライゼーションについて検討した。
  論文  参考訳（メタデータ） (2025-09-24T09:38:11Z)
• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• GeoUDF: Surface Reconstruction from 3D Point Clouds via Geometry-guided Distance Representation [73.77505964222632]
  スパース点雲から離散曲面を再構成する問題に対処する学習ベース手法であるGeoUDFを提案する。 具体的には、UDFのための幾何誘導学習法とその勾配推定を提案する。 予測されたUDFから三角形メッシュを抽出するために,カスタマイズされたエッジベースマーチングキューブモジュールを提案する。
  論文  参考訳（メタデータ） (2022-11-30T06:02:01Z)
• Distributional Hardness Against Preconditioned Lasso via Erasure-Robust Designs [22.41443027099101]
  標準スパースランダム設計は, 逆測定消去に対して高い確率で頑健であることを示す。 消去下での任意のスパース信号の部分的回復性が圧縮センシングで研究されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2022-03-05T22:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。