論文の概要: Evaluating Sycophancy in Chinese Large Language Models on Factual Questions Derived from Online Search Queries

• arxiv url: http://arxiv.org/abs/2609.30986v1
• Date: Fri, 25 Sep 2026 08:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.297421
• Title: Evaluating Sycophancy in Chinese Large Language Models on Factual Questions Derived from Online Search Queries
• Title（参考訳）: オンライン検索クエリーから抽出した実例に基づく中国語大言語モデルの語彙評価
• Abstract要約: 我々は, 事実確認質問を用いて, 中国語情報における事実性の分析を行った。 誤ったユーザ信念の下では,信頼の一致した誤りと事実的信頼の喪失を区別する。
• 参考スコア（独自算出の注目度）: 6.366635364226113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models increasingly mediate information access, factually accurate and independent answers are critical. However, these models can exhibit sycophancy by aligning their responses with users' stated beliefs even when those beliefs are incorrect, potentially presenting misinformation as independently verified and reinforcing users' confidence in false claims. Prior work leaves unresolved whether introducing user beliefs causes correct responses to become incorrect or uncertain, or causes uncertain responses to become belief-aligned incorrect answers. It also remains unclear whether anti-sycophancy interventions preserve or restore factual accuracy or merely shift responses toward uncertainty. We analyze factual sycophancy in Chinese-language information seeking using yes/no fact-checking questions. Our analysis covers 364,941 responses from three frontier Chinese-based LLMs (DeepSeek, Qwen, and Doubao) to 12,165 factual questions derived from real-world Chinese search queries. We evaluate the models with and without reasoning across baseline, belief-conditioned, and anti-sycophancy prompting, tracing matched shifts among correct, incorrect, and uncertain responses. Under incorrect user beliefs, we distinguish belief-aligned errors from losses of factual confidence, in which initially correct answers become uncertain. Patterns vary across models and reasoning settings: reasoning is not a consistent safeguard, and anti-sycophancy instructions can reduce incorrect agreement while increasing uncertainty. In Chinese-language factual question answering, avoiding agreement with false beliefs is therefore not equivalent to preserving factual accuracy, highlighting the value of transition-level evaluation. Such behavior may undermine the reliability of LLM-mediated information access by reinforcing misinformation or weakening users' confidence in factually correct answers.
• Abstract（参考訳）: 大きな言語モデルが情報アクセスを仲介するにつれて、事実的に正確で独立した回答が重要になる。 しかし, これらのモデルは, 誤った信念であっても, ユーザの信念と回答を一致させ, 誤報を個別に確認し, 虚偽の主張に対するユーザの信頼を高めることによって, 梅毒を生じさせる可能性がある。 以前の作業では、ユーザ信念の導入が正しい応答を誤ったものにするか、不確実な応答を信念に整合した答えにするかは未解決のままである。 抗精神病薬の介入が事実の正確性を維持するか、あるいは単に不確実性に反応を移すかは、まだ不明である。 我々は, 事実確認質問を用いて, 中国語情報における事実性の分析を行った。 分析では,中国の3つのLLM(DeepSeek,Qwen,Doubao)から,現実世界の中国語検索クエリから抽出した12,165の事実質問に対する364,941の回答について検討した。 ベースライン, 信念条件, 反サイコファンシーの促進, 追跡, 一致した変化の正解, 正解, 不確かさを考慮し, モデルの評価を行った。 誤ったユーザ信念の下では、信念に整合した誤りと、最初は正しい回答が不確実な事実的信頼の損失とを区別する。 パターンはモデルや推論の設定によって異なり、推論は一貫したセーフガードではない。 中国語の事実質問応答では、虚偽の信念との一致を避けることは、事実の正確性を保存することと同等ではなく、移行レベルの評価の価値を強調している。 このような行動は、誤情報を補強したり、事実正しい回答に対するユーザの信頼を弱めることによって、LCMによる情報アクセスの信頼性を損なう可能性がある。

関連論文リスト

• Knowing What's Missing: Assessing Information Sufficiency in Question Answering [3.8786514101828167]
  本稿では,堅牢な十分性モデリングのための構造化Identify-then-Verifyフレームワークを提案する。 提案手法は,多様なマルチホップおよび実QAデータセット間で確立されたベースラインに対して評価する。
  論文  参考訳（メタデータ） (2025-12-06T15:58:22Z)
• Explaining Sources of Uncertainty in Automated Fact-Checking [41.236833314783134]
  CLUE (Conflict-and-Agreement-aware Language-aware Language-model Uncertainty Explanations) は、モデル不確実性の自然言語説明を生成するフレームワークである。 クレーム・エビデンス(クレーム・エビデンス)またはインターエビデンス・コンフリクト(インターエビデンス・コンフリクト)を暴露するテキストと、モデルの予測の不確実性を促進する合意の間の関係を識別する。 CLUEは、モデルの不確実性により忠実で、事実チェックの決定とより一貫性のある説明を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:06:43Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words? [21.814007454504978]
  大規模言語モデル(LLM)は,自然言語における本質的な不確実性を表現できることが示唆された。 我々は、モデル固有のアサーションに対する信頼のギャップと、それらが伝達される決定性に基づいて、忠実な応答の不確実性を定式化する。
  論文  参考訳（メタデータ） (2024-05-27T07:56:23Z)
• Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
  提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。 誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。 我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。 最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
  論文  参考訳（メタデータ） (2024-01-12T18:03:30Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。