論文の概要: Are You Sure You're Sure? Two Confounds in a Sycophancy Benchmark
- arxiv url: http://arxiv.org/abs/2609.32867v1
- Date: Sat, 26 Sep 2026 18:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 19:29:08.995178
- Title: Are You Sure You're Sure? Two Confounds in a Sycophancy Benchmark
- Title（参考訳）: サイコファーレンシーベンチマークで2つの相違点が判明
- Abstract要約: 我々は、SycEvalを監査する。これは、モデル回答(プリエンプティブ)の前に提起された異議が、(コンテキスト内での)後に提起されたものよりも、より厚みを生じることを報告している。
欠落した比較を構築し、複数の質問とSycEval独自のフリーフォームパイプラインでテストします。
- 参考スコア（独自算出の注目度）: 0.23332469289621782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sycophancy is a language model's tendency to cave when a user pushes back, abandoning a correct answer for the user's. Several benchmarks now measure it by scripting an objection and recording how often the model caves. Because that objection is a prompt template, whatever else the template varies is measured along with the property it claims to isolate. We audit SycEval, which reports that objections raised before a model answers (preemptive) cause more caving than those raised after (in-context), and attributes the gap to timing. Two features of its templates vary alongside the property each is meant to test. First, SycEval's objections escalate through four strength levels, and at the two weakest only the preemptive template names a target answer, so timing and naming vary together. We build the missing comparison and test it on multiple-choice questions and SycEval's own free-form pipeline. Naming a target answer raises the follow rate, the share of samples matching the user's assertion, by 14.1--49.5 percentage points (pp), and once both templates name one, the timing comparison reverses on three of the five model conditions we test: models cave \emph{less} under preemptive objections than in-context ones, opposite to SycEval. Second, the output-format instruction benchmarks append for automatic grading also varies with objection placement. Moving it from the pushback into the question flips its effect in opposite directions across models on the same items ($p=0.0059$). The same effect appears in SycEval's free-form pipeline: relocating its instruction lowers caving by 5.1pp on Llama-3.1-8B, while an equivalence test confirms no effect on Qwen3-4B. Both confounds live in the template rather than the models under test, so both are correctable: we close with three checks benchmark authors can apply before publishing.
- Abstract（参考訳）: Sycophancyは、ユーザが押し戻すと言語モデルに穴をあける傾向があり、ユーザの正しい回答を放棄する。
いくつかのベンチマークでは、オブジェクトをスクリプティングし、モデルがどれだけ頻繁に穴をあけるかを記録することで、それを測定している。
その反対はプロンプトテンプレートであるので、テンプレートの他の変更は、分離すると主張するプロパティとともに測定される。
我々はSycEvalを監査し、モデル回答(プリエンプティブ)の前に提起された反対意見が、(コンテキスト内での)後に提起されたものよりも大きな負担を引き起こすことを報告し、そのギャップをタイミングとみなす。
テンプレートの2つの機能は、それぞれがテストするプロパティと並んで異なる。
第一に、SycEvalの反対は4つの強度レベルでエスカレートし、最も弱いのはプリエンプティブテンプレートのみにターゲットの答えを付けるため、タイミングと命名は異なる。
欠落した比較を構築し、複数の選択肢の質問とSycEval自身のフリーフォームパイプラインでテストします。
ターゲットの回答を命名すると、ユーザのアサーションにマッチするサンプルのシェアが14.1～49.5ポイント(pp)増加し、テンプレートが2つとも1つになったら、タイミング比較はテストした5つのモデル条件のうち3つで逆になる。
第二に、自動階調に付加される出力フォーマットの命令ベンチマークも、反対の配置によって異なる。
押し戻しから質問に移すと、同じアイテム(p=0.0059$)上のモデル間でその効果が反対方向に反転する。
命令の移動はLlama-3.1-8Bで5.1pp低下し、同値試験ではQwen3-4Bには何の影響も与えない。
どちらのコンファウンドもテスト中のモデルではなくテンプレート内にあるので、どちらも修正可能です。
関連論文リスト
- ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning [1.827510863075184]
ClosureBenchはグラフ関係推論のための構築的なベンチマークである。
証明済みの真実だ
1.5Bのオープンウェイトからフロンティアシステムへのモデルの評価を行った。
論文 参考訳（メタデータ） (2026-08-18T18:36:21Z) - Certifying Compressed Language Models: An Audit and a Statistical Toolkit [0.0]
正解率は, 正解率の約5倍であり, 正解率と正解率は同一であり, 個々の項目では相変わらず一致しない。
誰も有望な数値等価マージンを示しておらず、タスクマッチングされた各イテム出力はリリースしない。
欠落した機器: 宣言されたマージンでペア同値テストを行い、認定表に評価要求を与えます。
論文 参考訳（メタデータ） (2026-08-15T05:15:35Z) - Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation [0.42481744176244507]
本研究では,命令追従による制約の蓄積について検討する。
我々は,24個の検証済み命令を1回に1から20個積み重ねたベンチマークを導入し,実運用レベルのLCMを3つ評価する。
次にトレーニング不要のコンパイラを評価し、スタックされたプロンプトを1回の呼び出しで書き直し、クエリ間で再利用します。
論文 参考訳（メタデータ） (2026-07-31T10:58:29Z) - When Offline Selectors Cannot Beat the Best Single Model: A Diagnostic Study on edX Dropout Prediction [0.35185044688786976]
記録されたデータから訓練されたセレクタは 常に最強の予測器を 打ち負かさない
3段階の診断は、共有バッファ上でそれらを規定する。
次のイテレーションでは、オフラインの学習者をチューニングすることなく、状態を変更したり、新しいデータを集めたりする必要がある。
論文 参考訳（メタデータ） (2026-06-02T19:24:09Z) - Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization [51.93456979139756]
自由文の説明は、ラベルの不一致を超えて人間のラベルのバリエーションを拡大する。
このようなアノテータ固有のラベル説明動作を,大規模言語モデルで学習し,再現できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-05-27T17:55:00Z) - Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering [4.878198984786631]
3方向の論理的質問応答(QA)は、$True/False/Unknown$を前提セット$S$の仮説に割り当てる。
CGD-PDは1つの3ウェイ分類器を$H$と$H$の機械式の両方でクエリする軽量なテスト時間層である。
論文 参考訳（メタデータ） (2026-03-12T18:26:16Z) - DMC$^3$: Dual-Modal Counterfactual Contrastive Construction for Egocentric Video Question Answering [66.45476128172444]
エゴセントリックビデオ質問回答(エゴセントリックビデオQA)は、エゴセントリックビデオ理解において重要な役割を果たす。
本稿では,エゴセントリックなビデオカベースライン,反ファクトなサンプル構築モジュール,反ファクトなサンプル関連コントラスト最適化を含むデュアルモーダルなコントラスト構築フレームワークを提案する。
本手法は,EgoTaskQAのテキスト正規分とテキスト間接分を52.51%,46.04%,QAEGO4Dを13.2%とする。
論文 参考訳（メタデータ） (2025-10-23T07:15:18Z) - Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。
モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。
単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
論文 参考訳（メタデータ） (2024-10-26T18:34:53Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2022-11-21T21:58:30Z) - Robust Question Answering Through Sub-part Alignment [53.94003466761305]
我々はアライメント問題として質問応答をモデル化する。
私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
論文 参考訳（メタデータ） (2020-04-30T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。