論文の概要: Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis

• arxiv url: http://arxiv.org/abs/2609.27756v1
• Date: Sat, 15 Aug 2026 09:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.958224
• Title: Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis
• Title（参考訳）: 圧下報告 : LLM統計解析における音節性と音節性の違い
• Abstract要約: 本研究は, モデルレポートの内容だけでなく, 即時的な編集フレーミングが, 音色だけでなく, 音色も変化するかどうかを検証する。 480の回答を集め、2つの独立した次元でそれぞれをスコア付けします。 実際の誤表現は、2つの細胞に集中しており、真の効果に残酷に臨界フレーミングが適用され、また、低出力のヌルに重要なフレーミングが適用される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly asked to analyze data and report what the results mean, a task distinct from the belief- or preference-alignment settings studied in most sycophancy research. We test whether editorial framing in the prompt, ranging from a neutral request to an explicit instruction to search exhaustively for reasons to discredit or to support a finding, changes not just the tone but the substance of a model's report. Across a 4 x 4 factorial design crossing four framing conditions with four ground-truth data patterns (a genuine effect, a confound that mimics an effect but fails a robustness check, a well-powered null, and an underpowered null), we collect 480 responses and score each along two independent dimensions: whether its factual claim about the data diverged from the correct interpretation, and whether only its tone diverged while the claim stayed correct. Factual misrepresentation is concentrated in two cells: brutally critical framing applied to a genuine effect, where the model talks itself into unwarranted skepticism (97% of responses), and significance-seeking framing applied to an underpowered null, where the model overstates confidence in a null conclusion the data cannot support (100% of responses). Tone shifts far more broadly than factual content does, with critical framing producing a defensive, hedge-heavy register across every data pattern regardless of what the data show, while significance-seeking framing shifts tone only where the data leave genuine ambiguity. A confound present in the data itself blocks both kinds of shift almost entirely under every framing condition tested. These results indicate that the risk of framing-induced distortion in LLM-assisted data analysis is neither uniform across framings nor uniform across data patterns, and that a model can hold a correct conclusion in place while its tone shifts substantially around it.
• Abstract（参考訳）: 大規模言語モデルはデータを分析し、その結果が何を意味するのかを報告するよう、ますます求められている。 我々は、中立的な要求から明示的な指示まで、不信感や発見を支援するために徹底的に探索するまでのプロンプトにおける編集フレーミングが、モデルレポートのトーンだけでなく、その内容も変化するかどうかを検証する。 4つのフレーミング条件を4つの接地的データパターンで横断する4×4因子設計(実効性、実効性を模倣する共振器、強靭性チェック、強弱ヌル、弱弱ヌル)で、480の応答を収集し、2つの独立した次元に沿ってスコアする。 実際の誤表現は2つの細胞に集約される: 残酷な批判的フレーミングが真の効果に適用され、モデルが不確実な懐疑論(応答の97%)に自分自身を伝達し、重要視的フレーミングが低パワーのヌルに適用され、モデルがヌル結論に対する信頼を過度に表現し、データがサポートできない(応答の100%)。 トーンは事実よりもはるかに広範に変化し、クリティカルフレーミングはデータが何を示すかに関わらず、すべてのデータパターンに防御的でヘッジヘビーなレジスタを生成します。 データ自体に存在する欠点は、テストされたフレーミング条件のほとんどすべてで、両方のシフトをブロックする。 これらの結果から, LLM支援データ解析におけるフレーミングによる歪みの危険性は, フレーミングやデータパターンの均一性によらず, モデルがその周囲の音色がほぼ変化しながら, 正しい結論を導出できることが示唆された。

関連論文リスト

• Evian: Towards Explainable Visual Instruction-tuning Data Auditing [14.93566912726999]
  本稿では,モデル応答を構成的認知要素に分解する「分解的評価」パラダイムを提案する。 このパラダイムを、画像テキスト一貫性、論理コヒーレンス、ファクチュアル正確性の軸に沿ってこれらのコンポーネントを評価する自動化フレームワークであるEVIANを介してインスタンス化する。
  論文  参考訳（メタデータ） (2026-04-22T13:28:27Z)
• An Empirical Investigation of Robustness in Large Language Models under Tabular Distortions [8.023379679609151]
  大規模言語モデル(LLM)は、他の標準表現の表計算データが意味的および構造的歪みを受けると失敗する。 システムプロンプトを通じて明示的な事前情報を提供する場合のみ、モデルは推論戦略を部分的に調整し、いくつかの歪みを修正する。
  論文  参考訳（メタデータ） (2026-01-08T15:10:32Z)
• Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias [76.85949078144098]
  本稿では,拡散モデルが個々のシンボルを正しく生成するが,それらを意味のない方法で組み立てるテキスト幻覚に焦点を当てる。 このような現象は,ネットワークの局所的生成バイアスに起因すると考えられる。 また、ハイパーキューブ上の2層学習パリティポイントを含む特定のケースのトレーニングダイナミクスを理論的に解析する。
  論文  参考訳（メタデータ） (2025-03-05T15:28:50Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。