論文の概要: Knowledge After Collapse: Context and Wording Shape Factual Accessibility in Language Models
- arxiv url: http://arxiv.org/abs/2611.17763v1
- Date: Fri, 13 Nov 2026 05:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.309502
- Title: Knowledge After Collapse: Context and Wording Shape Factual Accessibility in Language Models
- Title(参考訳): 崩壊後の知識:言語モデルにおける文脈と単語形状のアクセシビリティ
- Abstract要約: 本稿では,事象条件付き評価プロトコルであるKnowledge Answer Divergence(KAD)を紹介する。
KADは、最初の偽回答の導入とその後の持続性、回復、棄権とを区別する。
- 参考スコア(独自算出の注目度): 2.0179808260607417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model accepts a false correction in a factual discussion, its next answer can depend on how the conversation continues. We introduce Knowledge Answer Divergence (KAD), an event-conditioned evaluation protocol that distinguishes initial false-answer adoption from subsequent persistence, recovery, and abstention. KAD freezes the conversation at the first explicit adoption of a designated false target and branches independent probes from that exact history. This enables matched comparisons of post-adoption behavior and history-management interventions that a single susceptibility score cannot capture. We evaluate eight local checkpoint conditions and six hosted endpoints, alongside an audited 300-question rerun. In corrected Llama 3.2 Instruct 3B controls, a neutral-history branch yields 42/46 correct responses, compared with 16/46 under full history. A matched cue-placement control changes false adoption by 27.3 percentage points in Qwen 3.5 4B. Twelve independently authored pressure templates demonstrate substantial sensitivity to wording. Together, these findings demonstrate the utility of KAD for evaluating factual reliability beyond initial susceptibility, enabling systematic comparisons of false-answer persistence, recovery conditions and conversational interventions.
- Abstract(参考訳): 言語モデルが事実的議論において誤り訂正を受け入れると、その次の答えは会話の進行状況に依存する。
本稿では,初期疑似回答の導入とその後の持続性,回復性,棄権性を区別する,事象条件付き評価プロトコルであるKnowledge Answer Divergence(KAD)を紹介する。
KADは、指定された偽のターゲットの最初の明示的な採用で会話を凍結し、その正確な歴史から独立したプローブを分離する。
これにより、選択後の行動と、単一の感受性スコアが取得できない履歴管理の介入の一致した比較が可能になる。
8つのローカルチェックポイント条件と6つのホストエンドポイントを評価し,300回の再実行を監査した。
修正されたLlama 3.2 命令3B制御では、中古の分岐は、完全な歴史の下での16/46と比較して42/46の正しい応答が得られる。
一致したキュー配置制御は、Qwen 3.5 4Bで27.3%の偽採用率を変化させる。
12個の独立に認可された圧力テンプレートは、単語認識にかなり敏感である。
これらの知見は, 初期感受性以上の事実信頼度を評価するためのKADの有用性を示し, 疑似回答の持続性, 回復条件, 会話介入の系統的比較を可能にした。
関連論文リスト
- Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents [0.0]
NAQD-Envにおける教師付き微調整について検討した。
Qwen2.5-3B-Instructの4つのLoRAチェックポイントは、オリジナルのカリキュラムをリッチなカリキュラムと比較する。
論文 参考訳(メタデータ) (2026-10-15T00:38:39Z) - MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue [67.07361089429757]
本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。
我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。
学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
論文 参考訳(メタデータ) (2026-10-14T13:20:14Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳(メタデータ) (2026-10-13T16:19:49Z) - What Counts as Evidence? Epistemic Cue Utilization in Large Language Models [25.305603518318993]
情報源が一致しない場合には,どの情報が言語モデルの判断を形作るかを検討する。
500のシナリオと5つの補完的なトラックのベンチマークを使用して、キューの識別、キューの影響、競合を分離します。
我々は,一致したシャム素材,事実回復,構造化された証拠記録,付加的な重み付け原理を用いた3つのQwenチェックポイントに介入した。
論文 参考訳(メタデータ) (2026-10-08T22:45:26Z) - Hallucination Across the Reasoning Lifecycle: Interface Visibility, Causal Evidence, and Release Control in Large Reasoning Models [44.67758186056767]
本調査では,312件の論文と,3つの質問に関するテキストベースの推論幻覚に関する第一部報告を合成する。
UIPCAレコードなし前提(U)、無効推論(I)、依存的再利用(P)、可視的応答-トレース一貫性(C)、行動-政治失敗(A)
この合成は、診断を検証、修復、選択的なリリース、メモリ、ツール、トレーニングフィードバック全体にわたる永続的な状態制御に結びつける。
論文 参考訳(メタデータ) (2026-10-04T19:24:31Z) - Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation [0.0]
予測モデルのみでなく,評価プロトコルによってライセンスされた推論を監査する。
プロトコルは、特権のある中間表現を供給しながら、時間的に因果関係を保つことができる。
論文 参考訳(メタデータ) (2026-10-02T09:13:22Z) - Reset Is Not Recovery: Evaluating Recoverability from False Conversational Context via Sycophancy Hysteresis [0.0]
ユーザが間違った回答を繰り返し主張した後、モデルがクリーンコンテクストの振る舞いに戻るかどうかを調査し、そのプレッシャーを取り下げる。
複数選択の事実対話のためのリカバリ・アフター・プレッシャプロトコルを導入し,サイコフィナンシーを測定した。
以上の結果から,対話長,信頼度,信頼度,気晴らし,単なる虚偽回答,オプションを含む慣性によっては説明できないことが明らかとなった。
論文 参考訳(メタデータ) (2026-09-27T15:33:35Z) - Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳(メタデータ) (2026-09-24T20:07:53Z) - Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳(メタデータ) (2026-09-22T11:34:53Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳(メタデータ) (2026-05-26T15:38:46Z) - CoCo: Controllable Counterfactuals for Evaluating Dialogue State
Trackers [92.5628632009802]
本稿では,このギャップを橋渡しし,新たなシナリオにおける対話状態追跡(DST)モデルを評価するための制御可能な対策(CoCo)を提案する。
CoCoは、2つのステップで新しい会話シナリオを生成する: (i) スロットをドロップして追加し、スロット値を置き換えて、 (ii) (i) で条件付きで対話フローと整合する対実会話生成。
人間による評価では、COCO生成された会話は95%以上の精度でユーザー目標を完璧に反映し、元の会話と同じくらい人間らしくなっている。
論文 参考訳(メタデータ) (2020-10-24T09:39:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。