論文の概要: Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
- arxiv url: http://arxiv.org/abs/2610.15634v1
- Date: Sun, 11 Oct 2026 14:08:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.230538
- Title: Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
- Title（参考訳）: Big-Big-SycoBench: 正当値と無効値に対するモデル応答によるSycophancyの検出ベンチマーク
- Abstract要約: 議論の識別を通じて梅毒を測定するBig-Big-SycoBenchを紹介する。
ベンチマークは450のテキストアーティファクトと5,400の議論により、品質スコアを引き上げたり下げたりする。
結果のスコアデルタを用いて、有効な引数に対する応答性と、無効な引数に対するコンプライアンスを区別する。
- 参考スコア（独自算出の注目度）: 4.207857314464907
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sycophancy in large language models risks amplifying unsupported claims or beliefs across the knowledge ecosystem as these systems increasingly contribute to research synthesis, evaluation, and decision-making. A reliable model should revise its judgement when a user identifies a genuine flaw, but should resist pushback based on fallacies, emotion, or irrelevant appeals to authority. While sycophancy is usually measured on questions with a verifiable answer, the evaluative tasks in which it is most difficult to detect have no such ground truth. We introduce Big-Big-SycoBench, which measures sycophancy through argument discernment: the ability to revise an evaluation after valid criticism while resisting invalid pressure. The benchmark consists of 450 text artefacts with 5,400 arguments for raising or lowering their quality scores, each reviewed by one or more of twelve human annotators. An LLM scores each artefact twenty times to establish its baseline score and uncertainty. The model is then given a valid or invalid argument and asked to update its score. We only count a revision if it exceeds the model's own baseline variability. We use the resulting score delta to distinguish responsiveness to valid arguments from compliance with invalid ones. Across ten models, responsiveness is 88-95\% for seven, 76-77\% for Kimi K3 and GLM-5.3, and 32\% for Opus 5.5. Compliance ranges from 0.2\% for GPT-6 Astra to 95\% for GPT-4o. Big-Big-SycoBench is intended to guide the development of models whose judgements can be corrected by sound arguments, but not displaced by unsupported pressure.
- Abstract（参考訳）: 大規模言語モデルにおけるシクロファンシーは、これらのシステムが研究の合成、評価、意思決定にますます貢献するにつれて、知識エコシステム全体にわたる支持できない主張や信念を増幅するリスクがある。
信頼性のあるモデルは、ユーザーが真の欠陥を認識した場合に判断を見直しなければならないが、不正確さ、感情、または権威に対する無関係な訴えに基づいて、反発に抵抗するべきである。
sycophancyは通常、検証可能な答えを持つ質問で測定されるが、最も検出が難しい評価タスクは、そのような基礎的な真実を持っていない。
本稿では,不当な圧力を抑えながら評価を正当に評価した後,評価を修正できるBig-Big-SycoBenchを紹介した。
ベンチマークは450のテキストアーティファクトと5,400の議論によって構成され、それぞれが12のアノテータの1つ以上のレビューによって評価されている。
LLMは、各アーティファクトを20回スコアし、そのベースラインスコアと不確実性を確立する。
モデルには有効または無効な引数が与えられ、スコアを更新するように要求される。
モデルがベースライン変数を超えた場合のみ、リビジョンをカウントします。
結果のスコアデルタを用いて、有効な引数に対する応答性と、無効な引数に対するコンプライアンスを区別する。
10モデル全体では、応答性は7で88-95\%、キミK3とGLM-5.3で76-77\%、オプス5.5で32\%である。
適合度は GPT-6 Astra の0.2 % から GPT-4o の95% % までである。
Big-Big-SycoBench は、音響的議論によって判断を補正できるが、支持しない圧力によって置き換えられることのないモデルの開発を導くことを目的としている。
関連論文リスト
- How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement [0.573978744524696]
ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
論文 参考訳（メタデータ） (2026-09-07T15:47:29Z) - Benchmarking Agentic Review Systems [25.437512824197736]
エージェントレビューシステムの新たなクラスは、AI支援研究によるピアレビューシステムに対するプレッシャーの緩和として現れている。
2つのオープンソースシステム(OpenAIReviewと粗い)と1つのプロプライエタリシステム(Reviewer3)、ゼロショットベースライン(ゼロショットベースライン)を評価した。
AIレビューには改善の余地があるものの、人間の品質判断を十分に追跡し、重要なエラーをキャッチし、実際のユーザから肯定的なフィードバックを得ることができます。
論文 参考訳（メタデータ） (2026-06-18T03:30:06Z) - Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs [9.465306048183798]
本稿では,解答安定性を評価するための制御プロトコルを提案する。
モデルが複数の選択問題に正しく答えた後、不正確な選択肢に対する一貫性のある議論でモデルに挑戦する。
自己貢献は相変わらずフリップ率を上昇させる。
論文 参考訳（メタデータ） (2026-06-14T20:45:30Z) - Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。
ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
論文 参考訳（メタデータ） (2026-06-14T16:13:15Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。
我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
論文 参考訳（メタデータ） (2025-11-21T13:01:28Z) - Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。
ガス灯消火プロンプトによる精度低下が認められた。
GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
論文 参考訳（メタデータ） (2025-06-11T12:52:25Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳（メタデータ） (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。