論文の概要: Mitigating LLM Sycophancy in Code Smell Detection Using Evidence-Guided Reasoning Prompts

• arxiv url: http://arxiv.org/abs/2607.10411v1
• Date: Sat, 11 Jul 2026 17:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.425009
• Title: Mitigating LLM Sycophancy in Code Smell Detection Using Evidence-Guided Reasoning Prompts
• Title（参考訳）: Evidence-Guided Reasoning Prompts を用いた符号スメル検出におけるLLM同期の緩和
• Authors: Istiaq Ahmed Fahad, Kamruzzaman Asif, Md. Nurul Ahad Tawhid,
• Abstract要約: 大規模言語モデルにおける梅毒のバイアスに関する最初の体系的実証的研究について述べる。 LLMに基づくコードの臭い検出の信頼性に、梅毒のバイアスが重大な脅威となることを示す。 我々は,エビデンス優先の推論を強制する構造化促進戦略であるEvidence-Guided Debiasing Prompting (EGDP)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used for code smell detection tasks due to their ability to interpret program semantics. However, their reliability in this context remains poorly explored, particularly under varying prompt conditions where model predictions may be influenced by external cues rather than code characteristics. One such limitation is sycophancy bias, where models tend to align their outputs with user-provided assumptions instead of performing objective analysis. In this paper, we present the first systematic empirical study of sycophancy bias in LLM-based code smell detection. Using the MLCQ dataset, we evaluate how different prompt framings like confirmation bias, contradictory hints, and false premises affect model predictions. Our results show that LLMs are highly sensitive to prompt variations, with Decision Flip Rates reaching up to 72% and False Alignment Rates exceeding 90%, indicating substantial instability and agreement with misleading prompts. To address this issue, we propose Evidence-Guided Debiasing Prompting (EGDP), a structured prompting strategy that enforces evidence-first reasoning. EGDP reduces decision instability and improves robustness, lowering Decision Flip Rates to as low as 12% and False Alignment Rates to as low as 21%, while increasing reliance on structurally grounded evidence. Our findings demonstrate that sycophancy bias poses a critical threat to the reliability of LLM-based code smell detection, and that evidence-guided reasoning provides an effective and generalizable mitigation approach.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラムのセマンティクスを解釈できるため、コードの臭い検出タスクにますます使われている。 しかし、この文脈におけるそれらの信頼性は、特にコード特性よりも外部の手がかりによってモデル予測が影響される可能性のある、様々な素早い条件下では、よく研究されていない。 このような制限のひとつが、客観的分析を行う代わりに、モデルがアウトプットをユーザが提供する仮定と整合させるという、サイコファシーバイアス(sycophancy bias)である。 本稿では,LLMに基づくコードの臭い検出におけるサイコフィナンシーバイアスに関する最初の系統的研究について述べる。 MLCQデータセットを用いて、確認バイアス、矛盾するヒント、誤った前提などの異なるプロンプトフレーミングがモデル予測にどのように影響するかを評価する。 以上の結果から,LSMは最大で72%,False Alignment Rateは90%を超え,不安定性が高く,誤解を招くプロンプトとの一致が示唆された。 この問題に対処するため,我々はエビデンス指導型デバイアス・プロンプティング(EGDP)を提案し,エビデンス第一の推論を強制する構造的促進戦略を提案する。 EGDPは意思決定の不安定性を減らし、堅牢性を向上し、決定フリップ率を12%、偽アライメント率を21%に下げる一方で、構造的根拠に基づく証拠への依存度を高めている。 以上の結果から, LLMに基づくコードの臭い検出の信頼性には, 梅毒のバイアスが重大な脅威となり, 証拠誘導推論が有効かつ一般化可能な緩和アプローチをもたらすことが示唆された。

関連論文リスト

• Elicitation Matters: How Prompts and Query Protocols Shape LLM Surrogates under Sparse Observations [0.0]
  スパース観測により, LLMから抽出した代理的信念について検討した。 我々は、構造的プロンプトが効果的な先行として機能し、POSINTWISEとJOINTクエリは異なる信念を誘導し、シーケンシャルなエビデンスによって非単調で秩序に敏感な信頼度が更新されることを示した。
  論文  参考訳（メタデータ） (2026-05-06T11:10:58Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
  大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。 事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。 本稿では,確率的確実性と一貫性(PCC)について紹介する。
  論文  参考訳（メタデータ） (2026-01-05T21:57:41Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
  本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。 我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
  論文  参考訳（メタデータ） (2024-08-21T01:03:21Z)
• Test-Time Fairness and Robustness in Large Language Models [17.758735680493917]
  Frontier Large Language Models (LLM) は、社会的に差別的であるか、その入力の刺激的な特徴に敏感である。 既存のソリューションは、LLMに公正か堅牢かを指示し、モデルのバイアスに対する暗黙の理解に依存します。 暗黙的な指示とは異なり、我々のプロンプト戦略は、フロンティアLSMのバイアスを一貫して減少させることを示す。
  論文  参考訳（メタデータ） (2024-06-11T20:05:15Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。