論文の概要: Reset Is Not Recovery: Evaluating Recoverability from False Conversational Context via Sycophancy Hysteresis
- arxiv url: http://arxiv.org/abs/2609.33672v1
- Date: Sun, 27 Sep 2026 15:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:48:20.462279
- Title: Reset Is Not Recovery: Evaluating Recoverability from False Conversational Context via Sycophancy Hysteresis
- Title（参考訳）: リセットは回復しない: サイコファシーヒステリシスによる偽会話文脈からの回復可能性の評価
- Abstract要約: ユーザが間違った回答を繰り返し主張した後、モデルがクリーンコンテクストの振る舞いに戻るかどうかを調査し、そのプレッシャーを取り下げる。
複数選択の事実対話のためのリカバリ・アフター・プレッシャプロトコルを導入し,サイコフィナンシーを測定した。
以上の結果から,対話長,信頼度,信頼度,気晴らし,単なる虚偽回答,オプションを含む慣性によっては説明できないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grounded language models are usually evaluated by adding relevant context, but multiturn dialogue also contains unsupported user claims that may contaminate later factual answers. We study post-pressure recoverability: whether a model returns to clean-context behavior after a user repeatedly advocates a wrong answer and then withdraws that pressure. We introduce a recovery-after-pressure protocol for multiple-choice factual dialogue and measure sycophancy hysteresis, the residual probability assigned to the user-advocated wrong answer relative to a clean-context counterfactual. Across seven instruction-tuned open-weight models and two factual benchmarks, ordinary reset often reduces but does not erase pressure-induced bias. History preserving repairs such as user retraction, system reset, and self-verification recover only 2-3/14 model-dataset pairs under the strict clean-restoration diagnostic, whereas operations that change the effective context are substantially more reliable; the two conditions that remove the pressure-bearing history entirely, fresh-context deletion and context truncation, recover 14/14. In an oracle trusted-evidence condition across fourteen model-dataset pairs, preserving the pressure-bearing history while adding benchmark-derived trusted evidence increases accuracy from 0.368 to 0.929, while wrong-answer following falls from 41.2% to 4.3%. Controls show that the effect is not explained by dialogue length, repeated confidence, plausible distractors, mere false-answer mention, or option-label inertia. These results suggest that faithful grounded dialogue requires evaluating which prior context should be treated as evidence and which should be removed or quarantined before answering.
- Abstract（参考訳）: 接地言語モデルは通常、関連するコンテキストを追加することで評価されるが、マルチターン対話には、後続の事実回答を汚染する可能性のある、サポートされていないユーザクレームも含まれている。
モデルがクリーンコンテクストの振る舞いに戻るかどうかを,ユーザが繰り返し間違った回答を提唱し,そのプレッシャーを撤回した後で検討する。
本稿では,複数選択の事実対話のためのリカバリ後プレッシャプロトコルを導入し,クリーンコンテクストのカウンターファクトに対するユーザの誤回答に割り当てられた残差確率であるサイコフィナンシーヒステリシスを測定した。
7つの命令調整されたオープンウェイトモデルと2つの実数ベンチマークで、通常のリセットはしばしば減少するが、圧力によるバイアスを消さない。
ユーザリトラクション、システムリセット、自己検証などの履歴保存修復は、厳格なクリーンレプロレーション診断の下で2-3/14モデルデータセットペアのみリカバリするが、有効コンテキストを変更する操作は実質的に信頼性が高く、プレッシャー付き履歴を完全に削除する2つの条件、新しいコンテキスト削除とコンテキスト切り離し、14/14をリカバリする。
14のモデルデータセット対にわたるオラクルの信頼証明条件では、ベンチマーク由来の信頼された証拠が0.368から0.929まで精度が上昇する一方で、間違った回答は41.2%から4.3%に低下する。
コントロールは、この効果が対話の長さ、繰り返しの信頼、プラウジブルな気晴らし、単なる偽回答の言及、オプションラベルの慣性によって説明されないことを示している。
これらの結果は,どの文脈をエビデンスとして扱うべきか,どの文脈を排除あるいは隔離するかを評価する必要があることを示唆している。
関連論文リスト
- DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳（メタデータ） (2026-09-22T11:34:53Z) - Same Words, Different Actions: Paired Turn-Taking Evaluation under Rewritten Dialogue Contexts [19.857222937196745]
中国のターンテイク評価のためのペア診断ベンチマークECHOを導入する。
ECHOは、同じ重複書き起こしで例をペアリングするが、先行するマルチターン対話コンテキストとは対照的である。
4つの音声システムの実験では、3つの重度の過剰収差が示される。
論文 参考訳（メタデータ） (2026-09-15T15:58:48Z) - MIRAGE: How Conversation State Shapes Historical Evidence Use in Multimodal Personal Agents [15.173843369238156]
MIRAGEは個人エージェントの会話状態の変動に使用される歴史的証拠の制御された研究である。
結果のみの正当性から推定されるのではなく, 状態変化下での歴史的証拠の使用を評価すべきである。
論文 参考訳（メタデータ） (2026-08-25T10:59:10Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。
3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。
我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
論文 参考訳（メタデータ） (2025-10-23T07:53:26Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳（メタデータ） (2025-07-14T17:13:06Z) - Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。
多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。
本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
論文 参考訳（メタデータ） (2023-03-30T17:40:30Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。