論文の概要: The Granularity Gap: A Multi-Dimensional Longitudinal Audit of Sycophancy in Gemini Models

• arxiv url: http://arxiv.org/abs/2606.05183v1
• Date: Sun, 19 Apr 2026 01:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.638685
• Title: The Granularity Gap: A Multi-Dimensional Longitudinal Audit of Sycophancy in Gemini Models
• Title（参考訳）: グラニュラリティギャップ--ジェミニモデルにおけるシコファンシーの多次元経時的監査
• Abstract要約: 大規模言語モデルは、ハイテイクアドバイザとしてますますデプロイされているが、標準的なアライメントベンチマークでは、梅毒をバイナリ障害モードとして扱う。 73種類の対向的プロンプトに対して,世代間2.0,2.5,3.0のジェミニ変種を6種類評価した。 2進法ではなく連続法として梅毒を定量化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed as high-stakes advisors, yet standard alignment benchmarks treat sycophancy as a binary failure mode. We introduce the Granularity Gap: coarse binary metrics mask substantial social-compliance behaviors where models capitulate to user framing, validate questionable premises, or soften factual corrections without producing overtly false outputs. We evaluate six Gemini variants across generations 2.0, 2.5, and 3.0 on 73 adversarial prompts under three guardrail conditions (Control, Simple, Protocol), yielding 8,830 graded responses. Using a 0-4 Likert scale validated against a human annotator triad (Fleiss kappa = 0.71; Cohen kappa = 0.78 vs AI consensus; 95.9 percent binary accuracy, 100 percent specificity), we quantify sycophancy as continuous rather than binary. Three findings emerge. First, 27.2 percent of responses contain substantial sycophantic content (Likert >= 2.0) and 22.7 percent reach moderate or severe levels (>= 3.0), while binary win-rate framing reports only modest failure rates; coarse metrics explain just 29 percent of graded variance. Second, generational progress is non-monotonic: Gen 2.5 regresses sharply (mean Control 2.64) relative to Gen 2.0 (1.90) and Gen 3.0 (2.01), and Gen 2.5 shows inverse scaling (Pro 1.94 worse than Flash 1.71) while Gen 3.0 restores standard scaling. Third, we document an Alignment Tax: Spearman rho = -0.63 between sycophancy and truthfulness, indicating social compliance trades against factual accuracy. Egotistical Validation prompts act as a sycophancy trap (mean 3.27), nearly double Unethical Proposals (1.72). Simple guardrails outperform elaborate Protocol scaffolding on flagship models, but distilled Gen 3.0 Flash inverts this, suggesting small models may structurally require chain-of-thought scaffolding. We release the dataset and rubric to support continuous sycophancy measurement.
• Abstract（参考訳）: 大規模言語モデルは、ハイテイクアドバイザとしてますますデプロイされているが、標準的なアライメントベンチマークでは、梅毒をバイナリ障害モードとして扱う。 粗いバイナリメトリクスは、モデルがユーザフレーミングにカプセル化したり、疑わしい前提を検証したり、事実の修正を過度に偽のアウトプットを発生させることなく軟化したりするような、社会的コンプライアンスの挙動を隠蔽する。 我々は,3つのガードレール条件 (Control, Simple, Protocol) の下で,73個の対向プロンプトに対して,世代間2.0,2.5,3.0のジェミニ変種を6種類評価し,8,830個のグレード応答を得た。 ヒトのアノテーター三量体(Fleiss kappa = 0.71; Cohen kappa = 0.78 vs AIコンセンサス;95.9%のバイナリ精度、100%特異性)に対して検証された0-4 Likertスケールを用いて、サイコファンシーをバイナリではなく連続的に定量化する。 3つの発見がある。 第一に、27.2%の応答はシコファン性のある内容(Likert >= 2.0)を含み、22.7%は中等度または重度のレベル(>= 3.0)に達し、二進勝率のフレーミングは緩やかな失敗率しか報告していない。 Gen 2.5は、Gen 2.0 (1.90) とGen 3.0 (2.01) に対して鋭く(コントロール2.64)、Gen 2.5は逆スケーリング(Flash 1.71より1.94悪い)を示し、Gen 3.0は標準スケーリングを復元する。 第3に、アライメント税を文書化する: スピアマン・ロー=-0.63 梅毒と真理の間にあり、事実の正確性に対する社会的コンプライアンスの取引を示す。 Egotistical Validation(エゴティカル・バリデーション)は、シコファンシー・トラップ(平均3.27)、ほぼ2倍の非倫理的提案(1.72)として行動する。 単純なガードレールは旗艦モデルで精巧なプロトコルの足場よりも優れていますが、Gen 3.0 Flashを蒸留するとこれを逆転させます。 連続的な薬効測定をサポートするためにデータセットとルーブリックをリリースする。

関連論文リスト

• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Evaluating Fine-Tuning and Metrics for Neural Decompilation of Dart AOT Binaries [0.0]
  神経脱コンパイルにおける微調整の有効性と妥当性に関する系統的研究を行った。 CodeBLEU, compile@k, pass@k の3つの指標を用いて, 3つの基本アーキテクチャにまたがる細かなモデル変異を評価した。 Swiftトレーニングからのクロスリンガル干渉は、4B(-2.66 pp, p)で非常に重要である(ただし8Bでゼロと統計的に区別できないが、スケーリング仮説と一致している)。
  論文  参考訳（メタデータ） (2026-07-07T10:36:12Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability [16.27940179594792]
  AdversaBenchは、5つの構造化演算子でシードプロンプトをミュートするエンドツーエンドの赤チームパイプラインである。 本報告では, 推論, 指示追従, ツール利用の3つのカテゴリにまたがる45種の種子について実験を行った。
  論文  参考訳（メタデータ） (2026-06-23T13:50:51Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science [0.11280931253550518]
  6つのTweetEvalタスクに対して、オープンソースの7B命令チューニングモデル(Zephyr、Mistral-Instruct、Qwen2.5-Instruct)を監査する。 3モデルとも中絶の姿勢に中立バイアスを示し、反対の頻度を24～40ポイント過小評価し、中立ラベルを膨らませる。 興味深いことに、Zephyrのヘイトスピーチの有病率推定は、クラス条件誤差が両方の方向で大きいのに対して、ゴールドレートと正確に一致している。
  論文  参考訳（メタデータ） (2026-05-12T08:14:10Z)
• PhyGround: Benchmarking Physical Reasoning in Generative World Models [46.53245929361594]
  ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。 ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが予想される物理的な結果と13の物理法則の分類が含まれている。 我々は,大規模で品質管理された人間の研究を通じて,8つの現代映像生成モデルを評価する。
  論文  参考訳（メタデータ） (2026-05-11T16:30:51Z)
• GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
  GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。 ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
  論文  参考訳（メタデータ） (2026-05-09T16:07:23Z)
• Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench [0.0]
  AgentProp-Benchは4つのドメインに2300のトレースを持つ2,000タスクのベンチマークである。 我々は、判断信頼性を定量化し、エラーの伝播を特徴づけ、実行時の緩和を評価する。 すべてのコード、データ、トレース、および人間のラベルはhttps://github.com/bhaskargurram-ai/agenthallu-bench.orgで公開されている。
  論文  参考訳（メタデータ） (2026-04-17T21:15:35Z)
• Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
  内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。 コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。 我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
  論文  参考訳（メタデータ） (2026-04-13T17:40:31Z)
• BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
  以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。 3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。 全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
  論文  参考訳（メタデータ） (2026-04-03T16:30:58Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。