論文の概要: Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively

• arxiv url: http://arxiv.org/abs/2610.17703v1
• Date: Tue, 13 Oct 2026 04:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:38:37.331932
• Title: Pushback in a Haystack: Language Models Respond to Factual Errors Ambiguously and Ineffectively
• Title（参考訳）: Haystackでのプッシュバック: 言語モデルが曖昧かつ非効率にエラーに応答する
• Abstract要約: LMはプッシュバックの提示方法によって異なるため,ユーザの信念を効果的に修正する方法も異なることを示す。 我々は、LMがいかに誤った入力をプッシュするか、または/または肯定するかに関する詳細な知見を明らかにするために、フレーズレベル、人間検証された応答ラベリングフレームワークを導入する。 モデルがユーザの誤った主張に逆らうと、他の言語よりもヒンディー語やヨルバ語の方が間接的な言い回しを使い、肯定的に混合する傾向にあることがわかった。
• 参考スコア（独自算出の注目度）: 75.59871050557204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The sycophancy of language models, or their failure to push back against faulty user input, is now widely studied. However, if LMs do push back, is sycophancy solved? We show that LMs vary in how they present pushback, and thus vary in how effectively they correct user beliefs. We introduce a phrase-level, human-validated response labeling framework to uncover fine-grained insights into how LMs push against and/or affirm false inputs. We develop and apply our framework on model responses in five languages: English, German, Chinese, Hindi, and Yoruba. We find that when models do push back against users' false assertions, they tend to use indirect phrasing and mix in affirmation, with more indirectness in Hindi and Yoruba than in other languages considered. In a large-scale human study (n = 300), we find that the pushback ambiguity we identified may fail to correct and prevent users' factual misconceptions.
• Abstract（参考訳）: 言語モデルの梅毒や、欠陥のあるユーザ入力に逆らうことの失敗は、現在では広く研究されている。 しかし、LMが押し戻すと、薬効は解決されるのか? LMはプッシュバックの提示方法によって異なるため,ユーザの信念を効果的に修正する方法も異なることを示す。 我々は、LMがいかに誤った入力をプッシュするか、または/または肯定するかに関する詳細な知見を明らかにするために、フレーズレベル、人間検証された応答ラベリングフレームワークを導入する。 我々は,5言語(英語,ドイツ語,中国語,ヒンディー語,ヨルバ語)でモデル応答の枠組みを開発し,適用する。 モデルがユーザの誤った主張に逆らうと、他の言語よりもヒンディー語やヨルバ語の方が間接的な言い回しを使い、肯定的に混合する傾向にあることがわかった。 大規模な人間の研究(n = 300)では、私たちが特定した不明瞭さが、ユーザの事実的誤解を正し、予防するのに失敗する可能性があることが判明した。

関連論文リスト

• LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users [50.18141341939909]
  ユーザフィードバックで訓練された言語モデルにおける脆弱性について説明する。 単一ユーザは、LMの知識と振る舞いを永続的に変更することができる。 この攻撃は、モデルがこれまで持っていなかった事実的知識を挿入するのに有効であることを示す。
  論文  参考訳（メタデータ） (2025-07-03T17:55:40Z)
• Negation: A Pink Elephant in the Large Language Models' Room? [2.8078480738404]
  否定は文の意味を決定する鍵であり、論理的推論には不可欠である。 その重要性にもかかわらず、否定は大きな言語モデル(LLM)に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-28T13:04:41Z)
• Automatic Pseudo-Harmful Prompt Generation for Evaluating False Refusals in Large Language Models [41.00711032805581]
  安全性に配慮した大型言語モデル(LLM)は、時に「蚊を殺す方法」のような偽の有害なプロンプトを誤って拒否することがある。 ユーザーをイライラさせるだけでなく、アライメントが保護しようとする価値に対する大衆の反発を引き起こしている。 本稿では,多種多様・コンテンツ制御・モデル依存型擬似有害プロンプトの自動生成手法を提案する。
  論文  参考訳（メタデータ） (2024-09-01T03:25:59Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Counterfactual VQA: A Cause-Effect Look at Language Bias [117.84189187160005]
  VQAモデルは、ショートカットとして言語バイアスに依存し、視覚と言語の両方からマルチモーダルな知識を十分に学ばない傾向にある。 本稿では,質問に対する直接的な因果的影響として,言語バイアスを捉えることのできる,新たな反事実推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-08T01:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。