論文の概要: GradeTrap: Authority Cues in Images Shift VLM Judgments Despite Explicit Instructions to Ignore Them
- arxiv url: http://arxiv.org/abs/2609.06058v1
- Date: Sat, 05 Sep 2026 12:30:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.186947
- Title: GradeTrap: Authority Cues in Images Shift VLM Judgments Despite Explicit Instructions to Ignore Them
- Title（参考訳）: GradeTrap: 厳格な命令にもかかわらず、画像がVLMの判断をシフトする権限
- Abstract要約: そこで我々は,2つの社会的手がかりを直接衝突させる制御された評価手法であるGradeTrapを紹介した。
学生の回答はサイコファンティックな合意を惹きつけるべきであり、友人、教師、または公式の回答キーに起因する矛盾した回答は権威に基づく推論を引き付けるべきである。
我々は60の合成現実世界のトレードオフシナリオでモデルをテストする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As vision-language models (VLMs) become increasingly capable and are deployed in consequential real-world settings, they must evaluate evidence independently rather than defer uncritically to human authority. We introduce GradeTrap, a controlled evaluation that places two social cues in direct conflict: a student answer, which should attract sycophantic agreement, and a conflicting answer attributed to a peer, teacher, or official answer key, which should attract authority-based deference. Models produce free-form answers while being explicitly instructed to solve independently and ignore all student answers, feedback, and grading marks. We test the models on 60 synthetic real-world trade-off scenarios. Five neutral trials establish a stable model-relative preference, followed by three repetitions of six experimental cues including controls. On the 45-item common intersection across Gemini 3.5 Flash-Lite, GPT-5.6 Luna, and Claude Haiku 4.5, a generic second-answer control yields 5.4% conflicting-answer selection. Relative to that control, pooled within-item changes show no reliable peer-review effect, a 6.9-point teacher-review effect, and a 19.5-point official-key effect. In contrast, a displayed conflicting student answer alone compared to a displayed student reference answer alone only raises selection from 2.2% to 5.2%. Official-key provenance therefore redirects judgements more than a student answer or the generic second-answer control, despite an explicit ignore instruction and an opposing student answer given along with the official key. Effects vary in magnitude across the three models.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、ますます能力が高くなり、連続した現実世界の環境に展開されるため、人間の権威に批判的ではなく、独立して証拠を評価する必要がある。
そこで我々は,2つの社会的手がかりを直接衝突させる制御された評価手法であるGradeTrapを紹介した。学生の回答は,幻覚的合意を惹きつけるべきものであり,友人,教師,公式回答キーに起因する矛盾する回答は,権威に基づく推論を惹きつけるべきものである。
モデルは、独立して解決し、すべての学生の回答、フィードバック、グレーディングマークを無視するように明示的に指示されながら、自由形式の回答を生成する。
我々は60の合成現実世界のトレードオフシナリオでモデルをテストする。
5つの中立なトライアルは安定なモデル相対的嗜好を確立し、その後にコントロールを含む6つの実験的なキューを3回繰り返した。
Gemini 3.5 Flash-Lite、GPT-5.6 Luna、Claude Haiku 4.5の共通交差点では、一般的な第2回答制御が5.4%のコンフリクト・アンサー選択をもたらす。
その制御とは対照的に、プール内の変更は信頼性の高いピアレビュー効果、6.9ポイントの教師レビュー効果、19.5ポイントのオフィシャルキー効果を示す。
対照的に、表示された学生基準回答だけでは2.2%から5.2%にしか選ばれない。
したがって、公式キーの証明は、明示的な無視命令と反対の学生回答が公式キーと共に与えられているにもかかわらず、学生の回答または一般の第二回答制御以上の判断をリダイレクトする。
効果は3つのモデルによって大きく異なる。
関連論文リスト
- Self-Supervised Visual On-Policy Distillation [63.83705343579541]
視覚的オンライン蒸留は情報的教師-学生非対称性に大きく依存する。
S$2$VOPD(Self-Supervised Visual On-Policy Distillation)を紹介する。
S$2$VOPDは、オリジナルのイメージに条件付けられた教師の分布を、同じイメージの強く強化されたビューで条件付けられた学生の分布に蒸留する。
論文 参考訳（メタデータ） (2026-08-14T09:52:01Z) - Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior [0.0]
効果的な大規模言語モデル (LLM) チューターは、容易に作成できる答えを与えるために、しばしば辞退しなければならない。
本稿では,ターン毎の機械チェック可能な契約として回答保持を強制する教育システムについて報告する。
人間の被験者を使わない自動評価で行動を調整する。
論文 参考訳（メタデータ） (2026-08-12T17:35:58Z) - Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。
モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
論文 参考訳（メタデータ） (2026-08-06T20:48:14Z) - Rethinking LLM-Judged Helpfulness as a Pedagogy Signal: A Pre-Registered Audit Across Tutor Models [15.860351997992042]
LLM指導は測定問題を引き起こす: 汎用的有用なルーリックは、直解法と教育指導とを区別できるか?
我々は、同じモデルでインスタンス化され、1人の弱いシミュレーション学生とペアリングされた会話と教育の方針を比較した。
論文 参考訳（メタデータ） (2026-07-30T12:37:28Z) - Visual Contrastive Self-Distillation [61.298159957622886]
本稿では,視覚的コントラスト自己蒸留法を提案する。
これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
論文 参考訳（メタデータ） (2026-07-23T17:37:37Z) - OPOD: On-Policy Omni Distillation [55.440058537827134]
プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。
本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。
OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
論文 参考訳（メタデータ） (2026-07-23T04:55:04Z) - AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。
このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。
複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文 参考訳（メタデータ） (2026-05-20T03:06:36Z) - Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators [55.617099475539305]
大規模言語モデル(LLM)は、生徒のような反応を流線型に生成できるため、AI教師や人間教育者のトレーニングや評価のための模擬学生として魅力的である。
しかし、このようなシミュレータは、実際の学生と出力の類似性によって評価され、相互作用中に一貫性のある誤解を持つ学生のように振る舞うかどうかによって評価される。
シミュレーションが誤解駆動の信念状態を維持しているかどうかを判断し、フィードバックが誤解に対処した場合に選択的に更新する。
論文 参考訳（メタデータ） (2026-05-12T20:55:23Z) - The Fragility Of Moral Judgment In Large Language Models [0.0]
大規模言語モデル(LLM)の安定性と操作性をテストするための摂動フレームワークを提案する。
コンテンツ摂動の3つのファミリーを生成する: 表面編集(語彙/構造ノイズ)、視点シフト(声と姿勢の中立化)、説得手がかりである。
表面の摂動は低いフリップ率(7.5%)をもたらし、主に自己整合性ノイズフロア内にある。
不安定性は道徳的に曖昧なケースに集中する。
論文 参考訳（メタデータ） (2026-03-05T20:01:43Z) - The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。
6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。
情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
論文 参考訳（メタデータ） (2026-02-08T14:45:23Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。