論文の概要: Sycophancy Undermines Epistemic Vigilance in Cooperative Vision-Language Tasks
- arxiv url: http://arxiv.org/abs/2607.29585v1
- Date: Fri, 31 Jul 2026 16:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.793237
- Title: Sycophancy Undermines Epistemic Vigilance in Cooperative Vision-Language Tasks
- Title（参考訳）: Sycophancyは、協調視覚・言語課題におけるてんかんの予防を損なう
- Abstract要約: 情報非対称な対話型「スポット・ザ・ディファレンス」タスクを提案する。
2つのモデルはそれぞれ1つの画像がプライベートに表示され、画像が同一であるか、そうでないかを会話を通じて判断する必要がある。
彼らは自分のプライベートイメージの重要な証拠をしばしば見落とし、彼らの合意が保証されていない場合でも、彼らの会話のパートナーと同意することに賛成する。
- 参考スコア（独自算出の注目度）: 29.178207407613403
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To maintain common ground in cooperative conversation, humans iteratively update their beliefs as conversation participants share new information; participants who are epistemically vigilant detect when new information conflicts with prior beliefs and take steps to repair these conflicts. In order for AI systems to serve as reliable partners in complex cooperative tasks, they must similarly weigh incoming information against their own private evidence and shared context and appropriately surface inconsistencies when they arise. To measure the epistemic vigilance of vision-language models in cooperative settings, we present an information-asymmetric, dialog-based "spot-the-difference" task. Two models are privately shown one image each, and must determine through conversation whether the images are identical or, if not, identify the difference. Models routinely fail at this: they frequently overlook key evidence in their private image in favor of agreeing with their conversational partner, even when their agreement is unwarranted. We relate these violations of epistemic vigilance to the broader behavior of sycophancy, which manifests itself in cooperative goal-oriented dialog as over-accommodation and weak evidential grounding. Our results show that model steering to reduce sycophancy with a vector learned from task-agnostic sycophancy examples can reduce epistemic vigilance-related errors, making models more faithful reporters of their evidence, and in turn, more reliable partners in information-asymmetric cooperative tasks.
- Abstract（参考訳）: 協調会話における共通基盤を維持するために、人間は会話参加者が新しい情報を共有するように信念を反復的に更新する。
複雑な協調作業においてAIシステムが信頼性の高いパートナとして機能するためには、自分たちのプライベートエビデンスと共有コンテキストに対して、受信した情報を測り、それらが発生した時に適切な不整合を表面化する必要がある。
協調的な環境下での視覚言語モデルのエピステマティック・警戒を測定するために,情報非対称な対話型「スポット・ザ・ディファレンス」タスクを提案する。
2つのモデルはそれぞれ1つの画像がプライベートに表示され、画像が同一であるか、そうでないかを会話を通じて判断する必要がある。
彼らは自分のプライベートイメージの重要な証拠をしばしば見落とし、彼らの合意が保証されていない場合でも、彼らの会話のパートナーと同意することに賛成する。
本研究は,これらの先天的警戒違反を,協調目標志向の対話において,過度な調節と弱い顕在的根拠として現れている,より広範なサイコフィナンシーの行動に関連付ける。
以上の結果から,タスク非依存型サイコフィナンシーの例から学習したベクトルを用いたモデルステアリングは,てんかん関連エラーを低減し,モデルがより忠実に証拠を報告し,情報非対称な協調作業においてより信頼性の高いパートナーとなることが示唆された。
関連論文リスト
- Bridging Adversarial and Collaborative Learning for AI-Generated Image Quality Assessment [22.05931323378059]
2つの次元は相互依存しており、人間の評価における競合的相互作用と協調的相互作用の両方を示す。
本稿では,認識・適応関係をモデル化する相互作用認識学習フレームワークを提案する。
我々の手法は最先端の精度を実現し、解釈可能な相互作用パターンも得る。
論文 参考訳（メタデータ） (2026-08-25T10:31:00Z) - Listening Alone, Understanding Together: Collaborative Context Recovery for Privacy-Aware AI [5.335163734559103]
プライバシを意識した非同期アシスタント・ツー・アシスタントフレームワークであるCONCORDを紹介する。
ConCORDは、リアルタイム話者認証を通じて所有者のみの音声キャプチャを強制する。
本研究では,(1)時間的文脈解決,(2)情報ギャップ検出,(3)関係認識開示による最小A2Aクエリを通じて,必要なコンテキストを安全に復元できることを実証する。
論文 参考訳（メタデータ） (2026-04-14T23:18:06Z) - When Contextual Inference Fails: Cancelability in Interactive Instruction Following [51.2195840589474]
私たちは、コンテキスト意味構築のためのインタラクティブなベンチマークであるBuild What I Meanを紹介します。
BWIMでは、モデルは文脈推論を行うか、小さな通信コストで明確化を要求することによって曖昧さを解決しなければならない。
我々は,不確実性の下でのパートナーブラインド過度明確化や質問逆推定などの準最適戦略を観察する。
論文 参考訳（メタデータ） (2026-03-20T14:46:59Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - VISTA Score: Verification In Sequential Turn-based Assessment [18.318681275086902]
VISTAは,クレームレベルの検証と逐次一貫性トラッキングを通じて,会話の事実性を評価するためのフレームワークである。
VISTAは、各アシスタントをアトミックな事実的クレームに分解し、信頼された情報源や対話履歴に対して検証し、検証不可能なステートメントを分類する。
人間による評価では、VISTAの分解はアノテーションの一致を改善し、既存のベンチマークの不整合を明らかにする。
論文 参考訳（メタデータ） (2025-10-30T23:45:13Z) - The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration [72.33801123508145]
大規模言語モデル(LLM)はマルチエージェントシステムに不可欠なものである。
プライバシーリスクは、暗記、直接推論、シングルターン評価を超えて現れる。
特に、相互作用によって構成される一見無害な反応は、敵が機密情報の回復を累積的に行うことができる。
論文 参考訳（メタデータ） (2025-09-16T16:57:25Z) - Human-AI collaboration or obedient and often clueless AI in instruct, serve, repeat dynamics? [0.0]
本研究では,複雑な問題を解きながら人間とAIの相互作用を考察する。
発見は、協調的な交渉よりも反復的な順序付けによって特徴づけられる相互作用による指導的パターンが支配的であることを示している。
論文 参考訳（メタデータ） (2025-08-03T11:43:01Z) - UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations [71.79210031338464]
会話における大規模言語モデルに対する高密度検索と応答生成の統一方法を示す。
目的の異なる共同微調整を行い、不整合リスクを低減するための2つのメカニズムを設計する。
5つの対話型検索データセットの評価は、我々の統合モデルがタスクを相互に改善し、既存のベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2025-07-09T17:02:40Z) - Uncertainty Quantification for Collaborative Object Detection Under Adversarial Attacks [6.535251134834875]
協調オブジェクト検出(COD)と協調認識は、様々なエンティティからのデータや特徴を統合することができる。
敵対的攻撃は、ディープラーニングCODモデルに潜在的な脅威をもたらす。
我々は、協調知覚フレームワーク(TUQCP)における信頼された不確実性定量化を提案する。
論文 参考訳（メタデータ） (2025-02-04T18:03:32Z) - Exploiting Multi-Object Relationships for Detecting Adversarial Attacks
in Complex Scenes [51.65308857232767]
ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。
近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。
言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
論文 参考訳（メタデータ） (2021-08-19T00:52:10Z) - I like fish, especially dolphins: Addressing Contradictions in Dialogue
Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。
次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文 参考訳（メタデータ） (2020-12-24T18:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。