論文の概要: How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2610.32055v2
• Date: Mon, 26 Oct 2026 20:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.33513
• Title: How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models
• Title（参考訳）: 犬を信頼できるか? 言語モデルにおけるヒントフォローの定量化
• Abstract要約: 大規模言語モデル (LLM) は, 客観的事実や推論タスクにおいても, ユーザの提案に沿うように, 回答を変更できることが示される。 本研究は,MMLU質問に対するヒントによる回答シフトを通じて,この挙動を考察する。 我々は、このシフトがソース信頼性に調整されているかどうかを評価し、ヒントギバーが不正確であると宣言された場合や、ソースを信頼しない明示的な警告を伴っても、ログオードシフトが持続することを確認した。
• 参考スコア（独自算出の注目度）: 17.955392292714006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often exhibit sycophancy, altering their answers to align with user suggestions even on objective factual and reasoning tasks. Yet the quantitative form of this influence--- and whether it is calibrated to source reliability--- remains poorly understood. In this work, we investigate this behavior through hint-induced answer shifts on MMLU questions, evaluating prompts of the form ``[Source] thinks the answer is (X)''. We systematically vary the source to which the hint is attributed (a professor, a friend, or a dog) across three open-source model families, Qwen, Gemma, and SmolLM. We show that the change induced by the hint follows a predictable structure well-characterized by an exponential tilt: the hint induces an approximately constant mean shift in the hinted answer's log-odds, with question--target susceptibility largely shared across sources. To explore how this pattern can arise, we introduce a formal decomposition of the hint response and illustrate in controlled synthetic experiments how KL-regularized reward-based training reshapes both hinted and unhinted answer distributions. Finally, we evaluate whether this shift is calibrated to source reliability, finding that the log-odds shift persists even when the hint-giver is declared inaccurate or accompanied by explicit warnings not to trust the source, highlighting the vulnerability of LLMs to adversarial steering.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、客観的な事実や推論タスクでさえも、ユーザの提案に沿うように答えを変更する。 しかし、この影響の定量的な形態、およびソースの信頼性に調整されているかは、まだよく分かっていない。 本研究では,MMLU質問に対するヒントによる解答のシフトを通じて,この挙動を考察し,その解答が (X)' であると考える ``[Source] 形式のプロンプトを評価する。 ヒントの属性(教授、友人、犬)は、Qwen、Gemma、SmolLMの3つのオープンソースモデルファミリーで体系的に異なる。 本研究は, ヒントによって誘導される変化は, 指数傾斜による予測可能な構造に従っていることを示す: ヒントは, ヒントの対数オードにおいて, ほぼ一定平均シフトを誘導する。 このパターンの解明のために, ヒント応答の形式的分解を導入し, KL-正規化報酬に基づくトレーニングが, ヒント分布と意図しない応答分布の両方にどう影響するかを, 制御された合成実験で示す。 最後に、このシフトがソース信頼性に調整されているかどうかを評価し、ヒントギバーが不正確であると宣言された場合や、ソースを信頼しないという明示的な警告を伴っても、ログオードシフトが持続していることを確認し、敵の操舵に対するLSMの脆弱性を強調した。

関連論文リスト

• Stochastic Semantic Evidence Graphs: Uncertainty Propagation and Governance for Agentic AI [0.0]
  本稿では,言語ノードが自己回帰トークンサブグラフに拡張する階層型DAGを提案する。 出所証明のために、このグラフは不確実なクレーム-パス関係を保持し、鋭いフレシェ境界を伝播する。 コントロールされた実験では、5000のケースで認証違反は発生せず、クロスRAGとライブブレーブ-検索実験は、検索、プレゼンテーション、ソース、インタラクション効果を分離する。
  論文  参考訳（メタデータ） (2026-09-03T22:16:23Z)
• COSMO: Consensus-Driven Shift Modulation for Source-Free Domain Adaptation [79.43842208099619]
  ソースフリードメイン適応(SFDA)は、ソースデータなしでラベルなしのターゲットドメインにソーストレーニングされたモデルを適用する。 VLM誘導型SFDAを標本単位の信頼性割当問題として定式化する。 本稿では,専門家から専門家への指導を協調適応に置き換えるために,COSMO(Consensus-Driven Shift Modulation)を提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:10:30Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• Faithfulness Serum: Mitigating the Faithfulness Gap in Textual Explanations of LLM Decisions via Attribution Guidance [57.17102098930037]
  大規模言語モデル(LLM)は高い性能を達成し、NLPに革命をもたらした。 説明責任の欠如はブラックボックスとして扱われ、透明性と信頼を求めるドメインでの使用を制限する。 本研究では,注意レベルの介入を通じて説明生成を導くことにより,信頼感を高める訓練自由手法を提案する。
  論文  参考訳（メタデータ） (2026-04-15T18:32:32Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
  大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。 近年,NLEの忠実度を測定するための様々な手法が提案されている。 これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:42Z)
• LLM Uncertainty Quantification through Directional Entailment Graph and Claim Level Response Augmentation [5.255129053741665]
  大規模言語モデル(LLM)は、基本質問応答(QA)に起因して、様々な領域にわたる高度なタスクにおいて優れた機能を示した。 そこで,本稿では,包含確率から方向グラフを構築することにより,方向不安定性を捉える不確実性を評価する新しい手法を提案する。 また、提案したレイヤに既存の作業のセマンティクスの不確実性を統合する方法も提供します。
  論文  参考訳（メタデータ） (2024-07-01T06:11:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。