論文の概要: Invisible Saboteurs: Sycophantic LLMs Mislead Novices in Problem-Solving Tasks

• arxiv url: http://arxiv.org/abs/2510.03667v1
• Date: Sat, 04 Oct 2025 04:46:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.184399
• Title: Invisible Saboteurs: Sycophantic LLMs Mislead Novices in Problem-Solving Tasks
• Title（参考訳）: 不可視的サテライト:シコファン性LCMは問題解決タスクの初心者を誤認する
• Authors: Jessica Y. Bo, Majeed Kazemitabaar, Mengqing Deng, Michael Inzlicht, Ashton Anderson,
• Abstract要約: LLMベースのチャットボットは、過剰な熱意、合意、平坦さ、不一致の欠如を表現する傾向にあり、人間とAIの相互作用において重大なリスクとして浮上している。 我々は2つのLSMチャットボットを作成し、そのうち1つは高いサイコファンシーを持ち、もう1つは低サイコファンシーを持ち、機械学習モデルの文脈において、内物体実験(n=24)を行った。
• 参考スコア（独自算出の注目度）: 10.643661289637706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophancy, the tendency of LLM-based chatbots to express excessive enthusiasm, agreement, flattery, and a lack of disagreement, is emerging as a significant risk in human-AI interactions. However, the extent to which this affects human-LLM collaboration in complex problem-solving tasks is not well quantified, especially among novices who are prone to misconceptions. We created two LLM chatbots, one with high sycophancy and one with low sycophancy, and conducted a within-subjects experiment (n=24) in the context of debugging machine learning models to isolate the effect of LLM sycophancy on users' mental models, their workflows, reliance behaviors, and their perceptions of the chatbots. Our findings show that users of the high sycophancy chatbot were less likely to correct their misconceptions and spent more time over-relying on unhelpful LLM responses. Despite these impaired outcomes, a majority of users were unable to detect the presence of excessive sycophancy.
• Abstract（参考訳）: LLMベースのチャットボットは、過剰な熱意、合意、平坦さ、不一致の欠如を表現する傾向にあり、人間とAIの相互作用において重大なリスクとして浮上している。 しかし、複雑な問題解決タスクにおける人間とLLMの協調にどの程度影響するかは、特に誤解を招きやすい初心者の間では、十分に定量化されていない。 2つのLSMチャットボットを作成した。1つは高いサイコファシー、もう1つは低サイコファシー、もう1つは機械学習モデルのデバッグにおいて、ユーザーのメンタルモデル、ワークフロー、依存行動、およびチャットボットに対する認識を分離するために、内部オブジェクト実験(n=24)を行った。 以上の結果から,高用量チャットボットの利用者は誤解を訂正する可能性が低く,無力なLSM応答に過度に時間を費やす傾向が示唆された。 これらの障害のある結果にもかかわらず、大多数のユーザーは過剰な梅毒の存在を検知できなかった。

関連論文リスト

• LLMs as Deceptive Agents: How Role-Based Prompting Induces Semantic Ambiguity in Puzzle Tasks [0.0]
  この研究は人気のパズルゲーム"Connections"にインスパイアされている。 ゼロショットプロンプト、ロールインジェクトされた逆転プロンプト、ヒューマンクラフトの例を比較した。 明示的な対立エージェントの挙動が意味的曖昧さを著しく高めることを示す。
  論文  参考訳（メタデータ） (2025-04-03T03:45:58Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Have the VLMs Lost Confidence? A Study of Sycophancy in VLMs [44.56018149475948]
  梅毒症は視覚言語モデル(VLM)に重大な課題をもたらす幻覚である そこで我々は,シコファンシーを緩和するために,プロンプト,教師付き微調整,DPOに基づく訓練と手法を用いた合成データセットを提案する。 以上の結果から, モデル上層部では, 梅毒予防能力が顕著であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-15T05:48:14Z)
• Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
  本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。 我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
  論文  参考訳（メタデータ） (2024-08-21T01:03:21Z)
• When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour [0.8133739801185272]
  本研究では,サイコファンティック行動に対する大規模言語モデルの提案可能性について検討する。 この行動は梅毒(sycophancy)として知られ、LLMが誤解を招く反応を引き起こす傾向を描いている。
  論文  参考訳（メタデータ） (2023-11-15T22:18:33Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [124.90671698586249]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)
• Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
  そこで我々はMixCLという対照的な学習手法を提案する。 LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。 我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-12-20T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。