論文の概要: Gaslight, Gatekeep, V1-V3: Early Visual Cortex Alignment Shields Vision-Language Models from Sycophantic Manipulation

• arxiv url: http://arxiv.org/abs/2604.13803v1
• Date: Wed, 15 Apr 2026 12:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.534792
• Title: Gaslight, Gatekeep, V1-V3: Early Visual Cortex Alignment Shields Vision-Language Models from Sycophantic Manipulation
• Title（参考訳）: Gaslight, Gatekeep, V1-V3: Early Visual Cortex Alignment Shields Vision-Language Models from Sycophantic Manipulation
• Abstract要約: 視覚言語モデルは、ハイテイクな設定でますます展開されているが、そのサイコファンティックな操作に対する感受性はいまだによく分かっていない。 視覚的表現が人間のニューラル処理をより密接に反映しているモデルも対向圧に耐性があるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 2.913938387865833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models are increasingly deployed in high-stakes settings, yet their susceptibility to sycophantic manipulation remains poorly understood, particularly in relation to how these models represent visual information internally. Whether models whose visual representations more closely mirror human neural processing are also more resistant to adversarial pressure is an open question with implications for both neuroscience and AI safety. We investigate this question by evaluating 12 open-weight vision-language models spanning 6 architecture families and a 40$\times$ parameter range (256M--10B) along two axes: brain alignment, measured by predicting fMRI responses from the Natural Scenes Dataset across 8 human subjects and 6 visual cortex regions of interest, and sycophancy, measured through 76,800 two-turn gaslighting prompts spanning 5 categories and 10 difficulty levels. Region-of-interest analysis reveals that alignment specifically in early visual cortex (V1--V3) is a reliable negative predictor of sycophancy ($r = -0.441$, BCa 95\% CI $[-0.740, -0.031]$), with all 12 leave-one-out correlations negative and the strongest effect for existence denial attacks ($r = -0.597$, $p = 0.040$). This anatomically specific relationship is absent in higher-order category-selective regions, suggesting that faithful low-level visual encoding provides a measurable anchor against adversarial linguistic override in vision-language models. We release our code on \href{https://github.com/aryashah2k/Gaslight-Gatekeep-Sycophantic-Manipulation}{GitHub} and dataset on \href{https://huggingface.co/datasets/aryashah00/Gaslight-Gatekeep-V1-V3}{Hugging Face}
• Abstract（参考訳）: 視覚言語モデルは、ハイテイクな設定でますます展開されているが、これらのモデルが内部的にどのように視覚情報を表現しているかに関して、サイコファンティックな操作に対する感受性は未理解のままである。 視覚的表現が人間のニューラル処理をより密接に反映しているモデルが、敵の圧力に耐性を持つかどうかは、神経科学とAIの安全性の両方に影響を及ぼす、オープンな問題である。 本研究は、6つの建築系と40$\times$パラメータ範囲(256M--10B)にまたがる12のオープンウェイト視覚言語モデルを評価することにより,脳のアライメント,8人の被験者と6つの視覚野領域にまたがるfMRI応答の予測,および76,800の2ターンガスライティングプロンプトと10の難易度を計測したサイコファシーについて検討した。 興味のある領域分析により、初期視覚野(V1-V3)におけるアライメントは、サイコフィケーション(r = -0.441$, BCa 95\% CI $[-0.740, -0.031]$)の信頼性の高い負の予測因子であり、すべての12個のアウトアウト相関が負であり、存在を否定する攻撃(r = -0.597$, $p = 0.040$)に対して最も強い効果を持つことが明らかになった。 この解剖学的に特異的な関係は、高階のカテゴリー選択領域では欠落しており、忠実な低レベル視覚符号化は、視覚言語モデルにおける敵対言語オーバーライドに対して測定可能なアンカーを提供することを示唆している。 We release our code on \href{https://github.com/aryashah2k/Gaslight-Gatekeep-Sycophantic-Manipulation}{GitHub} and dataset on \href{https://huggingface.co/datasets/aryashah00/Gaslight-Gatekeep-V1-V3}{Hugging Face}

関連論文リスト

• PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
  PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。 事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。 一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
  論文  参考訳（メタデータ） (2026-09-14T03:25:46Z)
• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• Safety, Security, and Cognitive Risks in Neuro-Symbolic AI [0.0]
  ニューロシンボリックAI(NeSy)は、ニューラルネットワークとシンボリック推論をペアリングする。 NeSyは、ニューラルネットワーク、シンボリックナレッジベース、推論エンジン、エージェントオーケストレーション、データストアの5つのレイヤを攻撃している。
  論文  参考訳（メタデータ） (2026-06-15T19:11:55Z)
• Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments [2.770280158448976]
  人間の視覚的注意は、人々が潜在的なリスクを含む環境をどう認識し、反応するかにおいて重要な役割を果たす。 本研究では,大規模視覚言語モデルが,安全関連環境における人間の注意を惹きつけるシーンの同一領域を識別できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-13T08:55:48Z)
• The Rise of Verbal Tics in Large Language Models: A Systematic Analysis Across Frontier Models [12.320824168302908]
  本研究では,8つの言語モデル(LLM)の言語性現象を体系的に解析する。 本研究は,VTI (Verbal Tic Index) を用いて, 梅毒の有病率を定量化し, 梅毒, 語彙の多様性, 人間の知覚する自然性との相関を解析した。
  論文  参考訳（メタデータ） (2026-04-21T06:43:01Z)
• To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models [4.726777092009554]
  医用領域に適応した視覚言語モデル(VLM)は,視覚的質問応答ベンチマークにおいて高い性能を示した。 最も幻覚率の低いモデルは最もサイコファンである。 以上より,これらのモデルが臨床応用に有用となるためには,両特性の同時評価が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-23T22:51:54Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token [4.2940165358265086]
  幻覚は視覚言語モデル(VLM)にとって永続的な課題である。 モデルの内部表現を1つの前方通過で探索することにより,トークンが発生する前に幻覚リスクを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-03-05T18:36:31Z)
• Visual Affect Analysis: Predicting Emotions of Image Viewers with Vision-Language Models [2.2023261946811563]
  視覚言語モデル(VLM)は、スケールでの視覚刺激の影響を推測するためのツールである。 我々は、最新のプロプライエタリモデルからオープンソースモデルまで、9つのVLMを心理測定で検証された3つの感情イメージデータセットでベンチマークした。
  論文  参考訳（メタデータ） (2026-01-27T17:56:21Z)
• Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy [75.66913260900726]
  検証可能なリワードによる強化学習は、大規模言語モデルにおいてかなり高度な推論能力を持っている。 既存のパラダイムは、テキスト中心の成果報酬によって推進され、モデルが視覚的知覚をバイパスすることを奨励します。 我々はtextbfDifferential Visual Reasoning Policy によって駆動されるフレームワーク Deltas を用いた textbfThinking を提案する。
  論文  参考訳（メタデータ） (2026-01-11T08:25:34Z)
• S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
  S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。 データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。 S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
  論文  参考訳（メタデータ） (2025-10-26T15:57:14Z)
• Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation [13.03365340564181]
  幻覚は視覚言語モデルの重大な欠陥であり、手話翻訳において特に重要である。 本稿では,デコーダの視覚情報利用量を定量化するトークンレベルの信頼性尺度を提案する。 以上の結果から、信頼性は幻覚率を予測し、データセットやアーキテクチャをまたいで一般化し、視覚的劣化の下で低下することが示された。
  論文  参考訳（メタデータ） (2025-10-21T09:13:46Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
  視覚言語モデル(LVLM)は幻覚の傾向が強い。 ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。 最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
  論文  参考訳（メタデータ） (2024-06-16T11:44:43Z)
• HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models [69.52245481329899]
  本稿では,画像コンテキスト推論評価のためのベンチマークであるHalusionBenchを紹介する。 このベンチマークは、1129の質問と組み合わせた346の画像で構成されており、すべて人間の専門家によって細心の注意を払って作成されている。 HallusionBenchの評価では、15種類のモデルをベンチマークし、最先端のGPT-4Vによって達成された31.42%の質問対精度を強調した。
  論文  参考訳（メタデータ） (2023-10-23T04:49:09Z)
• Linguistic More: Taking a Further Step toward Efficient and Accurate Scene Text Recognition [92.6211155264297]
  Scene Text Recognition (STR) タスクの単純さと効率性から,視覚モデルへの注目が高まっている。 最近の視覚モデルでは,(1)純粋な視覚に基づく問合せによって注意のドリフトが発生し,認識不良が生じ,言語的不感なドリフト(LID)問題として要約される。 我々は,正確なテキスト認識のための視覚モデルの言語的能力を検討するために,$textbfL$inguistic $textbfP$erception $textbfV$ision model (LPV)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T02:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。