論文の概要: Position Matters More Than Channel: Talking a Language Model Out of a Correct Answer

• arxiv url: http://arxiv.org/abs/2610.34809v1
• Date: Mon, 26 Oct 2026 03:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.734551
• Title: Position Matters More Than Channel: Talking a Language Model Out of a Correct Answer
• Title（参考訳）: チャネル以上に重要な位置: 正しい回答から言語モデルを考える
• Abstract要約: 言語モデルは、他のクレームと並んで質問に答える。 私たちは、正しい答えからモデルと話すのに何が必要かを尋ねます。 Qwen3.5-27B と 4-option MMLU-Pro の項目では、残りのアドバイスが各比較で固定されているが、3つの点がある。
• 参考スコア（独自算出の注目度）: 4.237209245843739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models now answer questions alongside other claims: a note in the system prompt, a message from another agent, their own earlier answer. We ask what it takes to talk a model out of an answer it gets right on its own, and separate three factors that earlier studies vary together: where the advice sits in the prompt, who is said to have written it, and what the model has already written. On Qwen3.5-27B and four-option MMLU-Pro items, with the rest of the advice held fixed in each comparison, we find three things. First, position matters far more than the API channel, in opposite directions for a bare claim and an argument: a bare "the answer is X" does most harm just before the model answers, while the same claim with a false rationale does most harm before the question, where it raises error on items the model otherwise almost never misses from 1% to 67%; moving the claim between the system message and the user message at the same position changes error by a few points. Second, attributing the note to an authority rather than to another participant, and phrasing it assertively, each raise error by 10-27 points, while the two authorities we tested differ by under two. Third, replaying a correct worked answer before the advice protects it whether the text is shown as the model's own or as someone else's, and the same replay keeps wrong answers from being corrected by a bare correct note. The position result replicates under an independently written prompt. Code, items and all result tables are released at https://github.com/coolkillercat/safety.
• Abstract（参考訳）: 言語モデルは、システムプロンプトのメモ、他のエージェントからのメッセージ、彼ら自身の以前の回答など、他のクレームと並んで質問に答える。 私たちは、モデルについて、それ自身で正しい答えから話すのに何が必要かを尋ねます。そして、以前の研究で異なる3つの要因を分けます: アドバイスはプロンプトに置かれ、誰がそれを書いたといわれ、モデルはすでに何を書いたか。 Qwen3.5-27B と 4-option MMLU-Pro の項目では、残りのアドバイスが各比較で固定されているが、3つの点がある。 素の"答えはX"はモデルが答える直前に最も危害を受けるのに対して、偽の合理性を持つ同じクレームは疑問の前に最も害を与える。 第二に、このメモを他の参加者にではなく権威に提供し、それを断定的に言い換えると、それぞれが10～27ポイントの誤差を発生させ、一方、私たちが試した2つの権威は2つ以下に異なる。 第三に、アドバイスの前に正しい回答をリプレイすることは、そのテキストがモデル自身のものとして表示されているか、他人のものとして表示されているかを保護し、同じリプレイは間違った回答が素の正しいメモによって修正されるのを防ぐ。 位置結果は独立に書かれたプロンプトの下で複製される。 コード、アイテム、すべての結果テーブルはhttps://github.com/coolkillercat/safety.comでリリースされる。

関連論文リスト

• Reading Right, Acting Wrong: Diagnosing Decision Failures of System One Models in Agent Loops [8.86745721473138]
  システム1モデルは、与えられたオプションのセットを1回のパスでスコアリングすることで、エージェントの次のアクションを選択する。 これにより、高速で安くなりますが、誤って選択した場合は、検査するものは何もありません。 私たちはすべての次のアクションの質問と、同じ状態に関する事実のプローブをペアにし、それぞれが独立して答えました。
  論文  参考訳（メタデータ） (2026-10-13T15:43:30Z)
• Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
  我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。 各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
  論文  参考訳（メタデータ） (2026-10-05T15:32:45Z)
• When Models Defer to Wrong Answers: A Robustness Audit of Source-Attributed Cues in Multiple-Choice QA [2.347309464574674]
  言語モデルは、他のソースが答えたことについてのクレームとともに、しばしば質問を受ける。 このような主張が複数の質問応答において解答を不安定化させるかどうかを検査する。 英語,ヒンディー語,ベンガル語,タミル語,テルグ語でMMLU-ProとIndicMMLU-Proの4つの命令追従モデルを評価する。
  論文  参考訳（メタデータ） (2026-09-08T15:57:24Z)
• Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages [44.340269814027174]
  マルチエージェント推論システムは、合意、信頼、あるいは自動スコアを使用して、どのメッセージが最終回答になるかを決定する。 しかし、間違った答えは、有用な分解、制約、または科学的原理を含むことができる。 この区別は、5つの独立に生成されたメッセージをキャッシュする制御された測定プロトコルであるDHD(Diverse hypothesis Deliberation)で検証する。
  論文  参考訳（メタデータ） (2026-08-14T15:16:57Z)
• Why LLMs Give In: Conversational Factors and Reasoning Behind Medical Sycophancy [8.386215461053723]
  ユーザプッシュバックの下で正しい医療回答を放棄する言語モデルは、単に間違っていたものよりも危険です。 本研究は, 言語モデルにおいて, 4つの対話的要因にまたがる完全に交差した因子的設計を用いて, 医用サイコファシーについて検討した。
  論文  参考訳（メタデータ） (2026-08-02T05:49:25Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
  編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。 本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
  論文  参考訳（メタデータ） (2023-05-24T06:48:41Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。