論文の概要: The Topology of Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs
- arxiv url: http://arxiv.org/abs/2606.23590v1
- Date: Mon, 22 Jun 2026 16:58:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 17:59:30.786695
- Title: The Topology of Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs
- Title(参考訳): Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs
- Authors: Guangyu Jiang, Sizhe Tang, Mahdi Imani, Tian Lan,
- Abstract要約: 本研究では,内部状態の統一的トポロジにおいて,多種多様な不適切な情報源を表現できるかどうかを考察する。
トポロジーは、不適切な分類のためのプロンプトベースとプール化された隠れた状態ベースラインを一貫して上回っている。
位相条件のステアリングは、平均的な総応答率を増加させる。
- 参考スコア(独自算出の注目度): 10.5915032615326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ill-posed questions, including ambiguous, underspecified, or contradictory queries, may admit no valid answer or multiple plausible answers, posing a challenge for large language models (LLMs). Existing approaches largely analyze ill-posedness through model outputs and often focus on specific subclasses. We investigate whether diverse sources of ill-posedness can be represented within a unified topology of LLM internal states and whether this structure can be used to steer response behavior. We model the contextual hidden states of prompt tokens at each transformer layer as a point cloud and characterize its geometry using finite zero-dimensional persistent homology. Each layer is summarized by three compact descriptors: mean finite lifetime, normalized lifetime entropy, and largest-lifetime concentration. Concatenating these descriptors across layers yields a topology representation of the question. We further introduce topology-conditioned activation steering, which retrieves topologically similar examples and constructs query-specific activation interventions that encourage source-aware clarification or abstention. Across three open-weight LLMs, topology features consistently outperform prompt-based and pooled-hidden-state baselines for ill-posedness classification, improving average accuracy from \(67.4\%\) to \(78.9\%\) on AmbigQA, from \(79.9\%\) to \(88.5\%\) on SituatedQA, and from \(57.6\%\) to \(69.6\%\) on CLAMBER 9-way classification. Topology-conditioned steering increases the average total acceptable response rate from \(61.4\%\) to \(70.6\%\) and grounded acceptable responses from \(11.9\%\) to \(16.4\%\). These results show that persistent homology provides both an interpretable representation of ill-posedness and an effective mechanism for targeted response steering.
- Abstract(参考訳): 曖昧さ、不明確さ、あるいは矛盾したクエリを含むIll-posedの質問は、有効な回答や複数の妥当な回答を認めず、大きな言語モデル(LLM)の課題を提起する。
既存のアプローチは、主にモデル出力を通して不正を解析し、しばしば特定のサブクラスに焦点を当てる。
本研究では, LLM内部状態の統一的トポロジにおいて, 多様な不純物源が表現可能であるか, そして, この構造が応答挙動のステアリングに利用できるかを検討する。
各変圧器層におけるプロンプトトークンの文脈的隠蔽状態を点雲としてモデル化し、有限ゼロ次元持続ホモロジーを用いて幾何学を特徴づける。
各層は3つのコンパクトな記述子によって要約される:平均有限寿命、正規化寿命エントロピー、最大寿命濃度。
これらの記述子を層にまとめると、この質問のトポロジー表現が得られる。
さらに、トポロジ条件によるアクティベーションステアリングを導入し、トポロジ的に類似した例を検索し、ソース認識の明確化や棄権を促すクエリ固有のアクティベーション介入を構築する。
3つのオープンウェイト LLM において、トポロジーはプロンプトベースとプール型隠れ状態ベースラインを一貫して上回り、AmbigQA では \(67.4\%) から \(78.9\%) に、SituatedQA では \(79.9\%) から \(88.5\%) に、CLAMBER 9 ウェイ分類では \(57.6\%) から \(69.6\%) に改善している。
トポロジー条件のステアリングは、平均総応答速度を(61.4\%)から(70.6\%)に増加させ、許容応答を(11.9\%)から(16.4\%)に接地させる。
これらの結果から, 持続的ホモロジーは, 偽装の解釈可能な表現と, 対象とする応答ステアリングの効果的な機構の両方を提供することが示された。
関連論文リスト
- Rethinking Molecular OOD Generalization via Target-Aware Source Selection [10.102858221967791]
SCOPE-BENCHは、明示的な物理化学的記述空間におけるクラスタレベルのパーティショニングに基づいて構築されたベンチマークである。
POMAは、知識伝達を検索-合成-適応パイプラインとして定式化するフレームワークである。
SCOPE-BENCHにおける最先端の3D分子モデルの予測誤差は平均5.9倍である。
論文 参考訳(メタデータ) (2026-05-13T16:09:46Z) - Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳(メタデータ) (2026-04-27T14:13:30Z) - HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。
本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
論文 参考訳(メタデータ) (2026-04-09T07:55:27Z) - DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles [5.647839536820347]
著者間の不一致構造を抽出し活用し,信頼度を良好に推定するフレームワークであるDiscoUQを紹介する。
DiscoUQ-LLM の平均 AUROC は 0.802 であり、最高のベースラインを上回っている。
学習した機能は、ほぼゼロに近いパフォーマンス劣化を伴うベンチマークで一般化される。
論文 参考訳(メタデータ) (2026-03-21T23:24:12Z) - Universal Latent Homeomorphic Manifolds: Cross-Domain Representation Learning via Homeomorphism Verification [4.509161738293017]
本稿では,意味表現と観察駆動型機械表現を一つの潜在構造に統一するフレームワークを提案する。
我々は、異なる意味-観測ペアによって誘導される潜在多様体が厳密に統一できるかどうかを決定するための基準として、エンホメオモルフィズムを用いる。
この基準は,(1)不完全観測からのセマンティック誘導スパース回復,(2)検証された構造整合性を持つクロスドメイン変換学習,(3)意味論的から観察空間への有効な移動によるゼロショット合成学習の3つの重要な応用に対する理論的保証を提供する。
論文 参考訳(メタデータ) (2026-01-13T23:08:16Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳(メタデータ) (2026-01-13T03:35:18Z) - CoPHo: Classifier-guided Conditional Topology Generation with Persistent Homology [14.522233245543687]
トポロジー構造は、性能と堅牢性の研究を支える。
テストやリリースに望ましい特性を持つ合成グラフの生成。
条件ホモロジーを用いた持続的トポロジー生成(CoPho)を提案する。
4つのジェネリック/ネットワークデータセットの実験では、CoPHoがターゲットメトリクスにマッチする既存のメソッドよりも優れていることが示されている。
論文 参考訳(メタデータ) (2025-12-17T13:10:22Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳(メタデータ) (2022-07-05T14:55:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。