論文の概要: Do correct answers have stable latent knowledge support?

• arxiv url: http://arxiv.org/abs/2610.15277v1
• Date: Sun, 11 Oct 2026 02:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:50:08.90347
• Title: Do correct answers have stable latent knowledge support?
• Title（参考訳）: 正しい答えは、安定した潜伏知識をサポートするか?
• Abstract要約: 大規模言語モデルは通常、その出力の正確性の観点から評価される。 我々は,個々の知識状態の安定性を調べるために,潜在状態安定性 (LSS) と知識トポロジー安定性 (KTS) を提案する。 我々は、潜伏知識の安定性を考慮した知識編集政策を学ぶために、潜伏DPOを提示する。
• 参考スコア（独自算出の注目度）: 65.01591809350906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are typically evaluated in terms of the correctness of their output. However, output correctness alone does not confirm whether the latent knowledge supporting an answer has stable internal representations. We therefore propose latent state stability (LSS) and knowledge topology stability (KTS) to investigate the stability of individual knowledge states and their relational structure, respectively. Specifically, we first separately average the model's internal representations of the same knowledge under each elicitation condition. Using the mean representation under the baseline condition as a reference, we remove shared shifts to obtain corrected representations. We then formulate LSS as the distance between each corrected representation and its reference representation, normalized against the typical distance between knowledge items of the same type. We formulate KTS as the cross-condition consistency of the ordered pairwise representation distances among knowledge items of the same type. Next, we construct EpiStableBench, which comprises 4,411 items spanning factual knowledge and mathematical reasoning, with 76,766 controlled queries. Across 16 LLMs from four families, representation stability varies substantially even among items answered correctly under the base condition. Within models, higher stability generally corresponds to higher accuracy under held-out elicitation conditions; across models, stability does not consistently increase with model size or overall accuracy. Meanwhile, we present LatentDPO to learn a knowledge-editing policy that accounts for the stability of latent knowledge. Experimental results show that integrating LatentDPO with multiple existing editing methods consistently improves editing success and generalization across different expressions.
• Abstract（参考訳）: 大規模言語モデルは通常、出力の正確性の観点から評価される。 しかし、出力の正確性だけでは、回答を支持する潜在知識が安定した内部表現を持っているかどうかを確認できない。 そこで我々は,個々の知識状態とそれらの関係構造の安定性を調べるために,潜在状態安定性 (LSS) と知識トポロジー安定性 (KTS) を提案する。 具体的には、まずモデルの同一知識の内部表現を各説明条件下で別々に評価する。 ベースライン条件下での平均表現を基準として、修正された表現を得るために共有シフトを除去する。 次に,各修正表現とその参照表現間の距離としてLSSを定式化し,同一型の知識項目間の典型的な距離に対して正規化する。 我々は、同じタイプの知識項目間で順序付けられたペアワイズ表現距離の相互条件整合性としてKTSを定式化する。 次に,事実知識と数学的推論にまたがる4,411項目からなるEpiStableBenchを76,766個の制御クエリで構築する。 4家系の16 LLMに対して, 基本条件下での解答項目においても, 表現安定性は著しく変化した。 モデル内では、より高い安定性は、一般に、保留状態下でのより高い精度に対応し、モデル全体では、安定性はモデルのサイズや全体的な正確性によって一貫して増加することはない。 一方,潜在知識の安定性を考慮に入れた知識編集政策を学習するために,LatentDPOを提示する。 実験結果から,複数の既存の編集手法とLatentDPOを統合することで,編集成功と表現の一般化が一貫して改善されることが示唆された。

関連論文リスト

• Is This Your Final Answer? Cross-Contextual Consistency as a Measure of LLM Credibility [27.380276941982416]
  我々は、オリジナルのプロンプトと摂動的プロンプトのモデル生成を比較して、コンテキスト間一貫性(C3)を運用する。 より小さなコンテキスト間シフトによる回答は、正しいか、現実的である可能性が高いことが分かりました。
  論文  参考訳（メタデータ） (2026-08-10T23:38:10Z)
• Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design [2.406359246841227]
  スパースオートエンコーダ (SAEs) を用いた辞書学習における安定性の主張には, 軌跡診断と改善が必要であることを示す。 我々の研究は、より大きな辞書学習の伝統の中でSAEを研究することの価値を支持する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:32Z)
• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Reliable Explanations or Random Noise? A Reliability Metric for XAI [6.948460965107209]
  本研究では、4つの信頼性公理の下で説明安定性を定量化する指標である説明信頼性指数(ERI)を紹介する。 ERIは、説明信頼性の原則的評価を可能にし、より信頼できるAI(XAI)システムをサポートする。
  論文  参考訳（メタデータ） (2026-02-04T22:04:07Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• State-dependent and state-independent uncertainty relations for skew information and standard deviation [0.0]
  混合状態を持つ非互換作用素の標準偏差に基づく不確実性等式を導出する。 また, 純状態に対しては, Wigner-Yanaseスキュー情報に基づく状態独立不確実性関係が標準偏差に基づく状態独立不確実性関係となることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:28:29Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• The Curse of Performance Instability in Analysis Datasets: Consequences, Source, and Suggestions [93.62888099134028]
  自然言語推論(NLI)および読み込み(RC)解析/ストレスセットにおける最先端モデルの性能は極めて不安定であることがわかった。 このことは、(1)不安定さがこれらの分析セットに基づいて引き出された結論の信頼性にどのように影響するかという3つの疑問を提起する。 不安定の原因に関する理論的説明と実証的証拠の両方を提示する。
  論文  参考訳（メタデータ） (2020-04-28T15:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。