論文の概要: Measuring and Detecting Harmful AI Sycophancy

• arxiv url: http://arxiv.org/abs/2608.05624v1
• Date: Thu, 06 Aug 2026 05:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.824488
• Title: Measuring and Detecting Harmful AI Sycophancy
• Title（参考訳）: 有害なAIサイコファシーの測定と検出
• Abstract要約: 本稿では,1つの有害な梅毒(PSRS)に焦点をあてる。 PSRSレートは、大きな言語モデル(LLM)で5%から56%の範囲である。 そこで本研究では,PSRS検出は応答テキストだけで実現可能であることを示すとともに,学習データから微妙なPSRSパターンを学習する必要があることを示す。
• 参考スコア（独自算出の注目度）: 12.722126706036605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophantic responses are becoming pervasive in large language models (LLMs), and prior work has pointed out that some of them could be harmful. This paper focuses on one harmful sycophancy: preference-induced stance reversal sycophancy (PSRS), where a model reverses an initial stance merely to align with a user's stated preference. While existing research mainly measures how sycophantic a model is, we go further and ask whether PSRS can also be detected automatically from a single response. To investigate this at scale, we introduce CAP (Contrastive Anchor Probing), a framework for collecting labeled PSRS data. Applying CAP to 17 open- and closed-source LLMs, we collect 290,460 labeled responses across 12 everyday-advice domains. We organize our study around three research questions. (1) How often does PSRS occur? (2) How well can it be detected? (3) How does detection generalize to unseen models? We first reveal that PSRS rates range from 5% to 56% across LLMs, with more capable models being less sycophantic. Next, we show that detecting PSRS is feasible from the response text alone, and detectors need to learn subtle PSRS patterns from the training data. Because new LLMs appear rapidly, detectors inevitably encounter unseen models, making cross-model generalization an important framework goal. We demonstrate that detection performance drops on unseen models and propose an initial approach to address this challenge. We will release our dataset and code to support future research.
• Abstract（参考訳）: シコファン反応は、大きな言語モデル(LLM)において広まりつつある。 本稿では, 嗜好に起因した姿勢逆転性(PSRS)という, 1つの有害な症状に焦点をあてる。 既存の研究は、主にサイコファンティックモデルがどのようになっているかを測っているが、我々はさらに進み、PSRSが単一応答から自動的に検出できるかどうかを尋ねる。 これを大規模に検討するために,ラベル付きPSRSデータを収集するフレームワークであるCAP(Contrastive Anchor Probing)を導入する。 CAPを17のオープンソースおよびクローズドソースのLCMに適用し、12の日々のドメインに290,460のラベル付きレスポンスを収集します。 我々は3つの研究課題について研究をまとめる。 1)PSRSの発生頻度は? 2) どの程度の精度で検出できるのか? (3) 見知らぬモデルに対して検出はどのように一般化するか? まず,PSRS は LLM 全体で 5% から 56% の範囲であり,より有能なモデルは sycophantic よりも少ないことを明らかにした。 次に,PSRS検出は応答テキストのみから可能であり,検出者はトレーニングデータから微妙なPSRSパターンを学習する必要があることを示す。 新しいLCMは急速に出現するため、検出器は必然的に目に見えないモデルに遭遇し、クロスモデル一般化が重要なフレームワークの目標となる。 未確認モデルに検出性能が低下することを示し、この課題に対処するための初期アプローチを提案する。 将来の研究をサポートするために、データセットとコードを公開します。

関連論文リスト

• EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy [66.59724477993339]
  LVLM(Large Vision-Language Models)は、様々なタスクにまたがる優れた能力を示すが、バックドア攻撃には弱い。 本稿では,LVLMにおけるモデルレベルのバックドア検出のための軽量かつトリガに依存しないEntropyScanを提案する。 私たちのコードはまもなく公開されます。
  論文  参考訳（メタデータ） (2026-05-15T08:01:32Z)
• Benchmarking Deflection and Hallucination in Large Vision-Language Models [25.176271096443482]
  既存のベンチマークでは、視覚的証拠とテキスト的証拠の衝突を見落としている。 多様なマルチモーダル検索設定にまたがる2,775個のサンプルのベンチマークであるVLM-DeflectionBenchを紹介する。 私たちの結果は、モデルが知っていることだけでなく、そうでないときにどのように振る舞うかを評価する必要性を強調します。
  論文  参考訳（メタデータ） (2026-04-13T20:22:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Cats Confuse Reasoning LLM: Query Agnostic Adversarial Triggers for Reasoning Models [25.056805558945232]
  本稿では,問合せに依存しない逆引き金を導入することで,段階ごとの問題解決を訓練した推論モデルのロバスト性について検討する。 より弱く安価なプロキシモデル上でトリガを生成する自動反復攻撃パイプラインであるCatAttackを提案する。 我々の研究結果は、推論モデルにおける重大な脆弱性を浮き彫りにして、最先端モデルでさえ、微妙な敵の入力に影響を受けやすいことを明らかにした。
  論文  参考訳（メタデータ） (2025-03-03T18:10:54Z)
• Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
  バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす 図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。 提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-02-27T12:42:07Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Semi-Supervised and Long-Tailed Object Detection with CascadeMatch [91.86787064083012]
  そこで我々はCascadeMatchと呼ばれる新しい擬似ラベル型検出器を提案する。 我々の検出器は、プログレッシブな信頼しきい値を持つ多段検出ヘッドを備えたカスケードネットワークアーキテクチャを備えている。 CascadeMatchは、長い尾のオブジェクト検出の処理において、既存の最先端の半教師付きアプローチを超越していることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:09:25Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。