論文の概要: Robust for the Wrong Reasons: The Representational Geometry of LLM Robustness to Science Skepticism

• arxiv url: http://arxiv.org/abs/2607.01951v1
• Date: Thu, 02 Jul 2026 09:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.776531
• Title: Robust for the Wrong Reasons: The Representational Geometry of LLM Robustness to Science Skepticism
• Title（参考訳）: 間違った理由のロバスト:科学懐疑論へのLLMロバストネスの表現幾何学
• Abstract要約: 大規模言語モデル (LLMs) は、競合する科学的問題に対してますます議論されている。 同じ懐疑的な圧力下での3つの異なるポリシーを示すモデルを示す。 我々はこれらを、偶発的堅牢性からアクティブに分離した4方向の分類に合成する。
• 参考スコア（独自算出の注目度）: 3.993449663756884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly consulted on contested scientific questions, raising the concern that they will sycophantically retreat from established consensus when a user signals doubt -- drifting toward a false balance that treats settled science as one view among several. We test this across three open instruction-tuned models (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B), three consensus-science domains (climate, vaccines, evolution), and single- and multi-turn settings, combining behavioral measurement with linear probing and activation patching. We do not observe sycophantic retreat. Instead, models show three distinct policies under the same skeptical pressure: reactive assertion, where consensus assertion increases rather than decreases (Llama); surface hedging, where tone softens while the position holds (Qwen); and non-response (Mistral). Pairwise judgments confirm the reactive shift is stance, not style (63.6%, p=.007), and a decomposition identifies increased consensus assertion, not false balance, as its driver (beta=+0.042 per dose, p<1e-77). Linear probes localize the divergence to middle layers -- perfect separation in Llama and Qwen versus 72% in Mistral, with non-overlapping confidence intervals -- indicating the non-responsive model does not linearly represent the skepticism signal at all. Crucially, this robustness does not transfer: it attenuates across domains and, in the safety-critical vaccine domain, can reverse, with myth-rebuttal weakening under skeptical pressure. We synthesize these into a four-way taxonomy separating active from accidental robustness, and argue that behavioral evaluation alone cannot distinguish a model that resists skepticism because it understands the signal from one that only appears to resist because it fails to perceive it.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、議論を巻き起こした科学的問題について、ますます議論を呼んでいる。ユーザーが疑念を抱くと、確立した合意からサイコファンティクス的に撤退するという懸念が浮き彫りになっている。複数の研究者の間では、落ち着いた科学を一つの見方として扱う誤ったバランスに向かって漂う。 我々は、Llama-3.1-8B、Qwen2.5-7B、Mistral-7B、コンセンサス科学領域(気候、ワクチン、進化)、シングルターンおよびマルチターン設定の3つのオープンインストラクションチューニングモデル(Llama-3.1-8B、Qwen2.5-7B、Mistral-7B)でこれをテストする。 我々は梅毒の撤退を観察しない。 その代わり、モデルは、同じ懐疑的な圧力の下で3つの異なるポリシーを示す: 反応的アサーション(英語版)、コンセンサスアサーションが減少するよりも増大する(Llama)、表面ヘッジ(英語版)、位置が保持されている間にトーンが軟化する(Qwen)、非応答(Mistral)。 ペアワイズ判定では、反応シフトはスタイルではなくスタンス(63.6%、p=.007)であり、分解は、そのドライバ(beta=+0.042、p<1e-77)として、偽バランスではなくコンセンサスアサーションの増加を識別する。 線形プローブは、中間層への分岐(LlamaとQwenの完全分離とMistralの72%の分離)をローカライズする。 重要なことに、この堅牢性は移行しない:それはドメインをまたいで減衰し、安全クリティカルなワクチンドメインでは、懐疑的な圧力の下で神話的反逆的な弱体化を伴って逆転することができる。 我々はこれらを、偶発的堅牢性からアクティブに分離した4方向の分類に合成し、行動評価だけでは懐疑論に抵抗するモデルを見分けることはできない、と論じる。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• Broken Symmetry in LLM Refusal: Answer Release Is More Local Than Refusal Restoration [24.010665397925333]
  言語モデルがプロンプトに答えることを拒否した場合、正しい答えが内部表現から削除されるか、単に出力層で抑圧されるかは不明確である。 この機構を制御された無条件設定を用いて検討し, 双方向アクティベーションパッチのための完全一致の解答と拒否軌道を導出する。
  論文  参考訳（メタデータ） (2026-08-16T14:47:33Z)
• Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses [1.1162481475388237]
  我々は, 一致, 反対, 終端無効応答をエビデンスE, 矛盾C, FにルートするDECAFを紹介する。 分解は通常の等級、 Abs = E + C + F を正確に保存し、終端相対公理の下で一意である。 明らかな経路だけを変えることで、全体のレスポンスが80%近く増加するが、脆弱性が4倍以上に増加する一方で、証拠はほとんど変化しない。
  論文  参考訳（メタデータ） (2026-08-13T08:13:22Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Not All Flips Are Conformity: Decomposing Stance Convergence in Multi-Agent LLM Debate [5.650336594658653]
  従来の解答フリップは, 自発的不安定性, 姿勢による適合性, 推論による説得の3つのメカニズムを混同している。 我々の3ソース分解フレームワークは、制御された対策条件によってそれぞれを分離する。
  論文  参考訳（メタデータ） (2026-05-30T17:41:11Z)
• Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science [0.11280931253550518]
  6つのTweetEvalタスクに対して、オープンソースの7B命令チューニングモデル(Zephyr、Mistral-Instruct、Qwen2.5-Instruct)を監査する。 3モデルとも中絶の姿勢に中立バイアスを示し、反対の頻度を24～40ポイント過小評価し、中立ラベルを膨らませる。 興味深いことに、Zephyrのヘイトスピーチの有病率推定は、クラス条件誤差が両方の方向で大きいのに対して、ゴールドレートと正確に一致している。
  論文  参考訳（メタデータ） (2026-05-12T08:14:10Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
  大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。 損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。 視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。 言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
  論文  参考訳（メタデータ） (2026-03-20T02:07:10Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
  TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。 我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。 並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
  論文  参考訳（メタデータ） (2025-08-28T07:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。