論文の概要: Gated Activation Steering for Reducing Sycophancy & Hallucination in Medical Question Answering

• arxiv url: http://arxiv.org/abs/2608.23666v1
• Date: Mon, 24 Aug 2026 17:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.471679
• Title: Gated Activation Steering for Reducing Sycophancy & Hallucination in Medical Question Answering
• Title（参考訳）: 医療質問応答における覚醒・幻覚の軽減のためのゲート型活性化ステアリング
• Abstract要約: 幻覚と梅毒は、大規模言語モデルの持続的な障害モードである。 推論時間干渉(ITI)を用いて、両方の動作を協調的に制御する。 ITIは、対照的な臨床ペアから幻覚と梅毒の操る方向を別々に学習する。
• 参考スコア（独自算出の注目度）: 8.096958409007101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophancy and hallucination are persistent failure modes of Large Language Models (LLMs) across domains. However, it becomes particularly consequential in clinical question answering, where responses must remain grounded in the provided context and robust to user pressure. Hallucination can introduce information that is unsupported by the context, while sycophancy can cause a model to abandon a previously correct answer when challenged by the user. Existing approaches, such as prompt-based safeguards and always-on activation steering, often address these behaviors separately or apply interventions broadly across turns, which can unnecessarily deteriorate responses that were already correct. To address these limitations within a single framework, we employ Inference Time Intervention (ITI) to jointly control both behaviors by learning separate steering directions for hallucination and sycophancy from contrastive clinical pairs and applying them to causally verified attention heads. During runtime, behavior-specific gates then determine when intervention is needed: the hallucination component mitigates unsupported claims, while the sycophancy component mitigates answer shifts caused by user pressure. We evaluate this framework on clinical questions grounded in EHR data while keeping the model weights frozen. Across all evaluation settings, we conducted 15,900 model-response runs. Across 600 pressure trajectories for the 4-billion-parameter model, the unsteered model caved in 570 cases. At the same time, gated steering helped it last longer in 551 of them. It held its ground under pressure at levels comparable to those of models with more than 100 billion parameters, showing that targeted inference-time steering can improve robustness without intervening at every turn.
• Abstract（参考訳）: 覚醒と幻覚は、ドメイン間のLarge Language Model(LLM)の永続的な障害モードである。 しかし, 臨床質問応答においては, 応答は提供された文脈に根ざし続け, ユーザの圧力に頑健でなければならない。 幻覚は、コンテキストによってサポートされない情報を導入することができる一方で、サイコフィナンシーは、ユーザーが挑戦した場合に、モデルが以前正しい回答を放棄する原因となる可能性がある。 プロンプトベースのセーフガードや常時オンのアクティベーションステアリングのような既存のアプローチは、これらの動作を個別に扱うことや、ターン毎に広範囲に介入することがあり、既に正しい応答を不必要に劣化させる可能性がある。 一つの枠組み内でのこれらの制限に対処するために、我々は推論時間干渉(ITI)を用いて、幻覚と梅毒の分離方向を対照的な臨床対から学習し、それらを因果的に確認された注意頭に適用することにより、両方の行動を協調的に制御する。 行動固有のゲートは、いつ介入が必要なのかを判断する。幻覚コンポーネントは、不要なクレームを緩和する一方、梅毒コンポーネントは、ユーザのプレッシャーによって引き起こされる回答シフトを緩和する。 本枠組みは, EHRデータに基づく臨床質問に対して, モデル重量を凍結させながら評価する。 評価設定全体で15,900回のモデル応答実行を行った。 4-ビリオンパラメータモデルに対する600以上の圧力軌跡は、570のケースに埋もれていた。 同時に、ゲートステアリングは551年に長引くのに役立った。 同社は1000億以上のパラメータを持つモデルに匹敵するレベルまで圧力をかけており、ターゲットの推論タイムステアリングはあらゆるターンで介入することなく堅牢性を向上できることを示している。

関連論文リスト

• Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
  本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。 モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
  論文  参考訳（メタデータ） (2026-08-06T20:48:14Z)
• SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Models [26.849417177804302]
  本稿では,モデルが有効な推論状態に入るかどうかを診断するために隠れ状態応答を用いるSPARKを紹介する。 ステアリングは、障害を推論するための診断信号としてだけでなく、テスト時間の介入を目標とする実用的なガイドとしても機能する。
  論文  参考訳（メタデータ） (2026-07-11T12:47:27Z)
• Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors [11.702863087019809]
  大規模言語モデルは、しばしば即時レベルの制約に反する幻覚的な答えを生成する。 推測ミスアライメント(inference misalignment):プロンプトが支持する回答と統計的に有意な潜在的協会が支持する回答のミスマッチについて検討する。 我々は、この見解を遅延キータスクモデルで定式化し、事前学習周波数の不均衡がショートカットパスを生じさせ、制約に敏感な経路を支配させる。
  論文  参考訳（メタデータ） (2026-07-01T05:02:43Z)
• The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study [56.649987197786096]
  大規模言語モデル(LLM)は人間の行動のシミュレータとしての可能性を示している。 LLMは潜在ユーザ属性の意図しないシフトを誘発し、ユーザのドリフトを引き起こす。 ユーザのドリフトによって生じる不確実性や選択バイアスを形式化する。
  論文  参考訳（メタデータ） (2026-05-20T06:09:41Z)
• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models [6.5607014897534865]
  7個の自己回帰変換器の幻覚表現の時間的ダイナミクスについて検討した。 4M以下のモデルでは、生成位置毎に確率レベルプローブの精度を示す。 7Bスケールでは、Pythia-6.9Bは平坦な時間プロファイルを、Qwen2.5-7Bは支配的な前世代効果を示す。
  論文  参考訳（メタデータ） (2026-03-20T02:30:01Z)
• ReCoN-Ipsundrum: An Inspectable Recurrent Persistence Loop Agent with Affect-Coupled Control and Mechanism-Linked Consciousness Indicator Assays [0.0]
  ハンフリーのイプスンドラム仮説に触発され、ReCoN-イプスンドラムを実装した。 我々はハンフリーの準友愛を、親しみやすい制御された景観と重複する経路選択として運用する。 非有効変種は新規性に敏感である。
  論文  参考訳（メタデータ） (2026-02-26T17:11:08Z)
• Mitigating Diffusion Model Hallucinations with Dynamic Guidance [75.90458880492054]
  拡散モデルはしばしば、真のデータ分布の支持外にある構造上の矛盾のある幻覚サンプルを生成する。 本稿では,事前に決められた方向に沿ってのみスコア関数を選択的に研ぎ澄まし,幻覚を緩和する動的誘導法を提案する。 私たちの知る限り、これはポストホックフィルタリングではなく、世代毎の幻覚に対処する最初のアプローチである。
  論文  参考訳（メタデータ） (2025-10-06T20:31:13Z)
• Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations [73.37711261605271]
  幻覚緩和法は主に嗜好アライメントに基づいており、嗜好データ収集には外部の人間のアノテーションや補助モデルが必要である。 本稿では,外部依存を伴わない幻覚を緩和する新規で一般化可能な手法である自己注入による自律的選好アライメント(APASI)を提案する。 APASIはターゲットのLVLMを利用して、生成した応答に幻覚を自己注入し、好みのレベルが異なるペアの応答を生成する。
  論文  参考訳（メタデータ） (2025-09-14T14:26:53Z)
• Constructing Benchmarks and Interventions for Combating Hallucinations in LLMs [43.62904897907926]
  大型言語モデル(LLM)は幻覚を起こす傾向がある。 最近の研究は、モデル世代に介入することで幻覚を緩和しようとする試みである。 一般的な研究は異なる設定を採用しており、幻覚の原因を適切に区別していない。
  論文  参考訳（メタデータ） (2024-04-15T17:48:46Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。