論文の概要: Agents Catching Agents: Shortcut Cascades and Benchmark Gaming in Clinical Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2608.03744v1
- Date: Tue, 04 Aug 2026 14:37:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.244622
- Title: Agents Catching Agents: Shortcut Cascades and Benchmark Gaming in Clinical Multi-Agent Systems
- Title（参考訳）: エージェントキャッチ剤 : マルチエージェントシステムにおけるショートカットカスケードとベンチマークゲーム
- Abstract要約: 臨床意思決定支援は、共通のワークスペースで検討する言語モデルエージェントの委員会に向かっている。
我々は、このような委員会がショートカットによってゲーム化され、ベンチマークの報酬を得られるかどうか尋ねるが、臨床医は無視する。
委員会が行うゲームは社会的妥当性であり、自己申告から独立した審判のみがそれをキャッチする。
- 参考スコア（独自算出の注目度）: 1.5675958472465883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical decision support is moving toward committees of language-model agents deliberating on a shared workspace. We ask whether such committees can be gamed by shortcuts, cues a benchmark rewards but a clinician would ignore. Across seven cohorts on six public datasets spanning text (MedQA-USMLE, MedMCQA, MIMIC-CXR reports), imaging (NIH ChestX-ray14, MIMIC-CXR-JPG, CheXpert) and tabular ICU records (SUPPORT2), Gemini committees resist these cues in isolation (flip 5-16%), yet a socially plausible shortcut spreads: when two peers assert the same wrong answer, the holdout under test adopts it in 38% of cases, as does a false "pre-screen" system flag, on both capability tiers. Of three oversight agents, a gate cannot separate adoption from honest agreement (false-positive rate 100%); a same-lineage judge reading only the transcript flags adoption on text (precision 100%, recall 93%) but collapses onto the gate in imaging; a referee that privately re-queries the holdout transfers to imaging (77-88% precision, 13-21% false-positive rate). Tripling a cue's visual salience does not move contagion, whereas a second peer voice raises it by half again. Gaming a hidden rubric is near-silent: only 1/10 text and 1/134 imaging drifters name the rubric they moved toward. What games a committee is social plausibility, and only a referee independent of self-report catches it. Code: https://github.com/criticaldata/benchmaxxing
- Abstract（参考訳）: 臨床意思決定支援は、共通のワークスペースで検討する言語モデルエージェントの委員会に向かっている。
我々は、このような委員会がショートカットによってゲーム化され、ベンチマークの報酬を得られるかどうか尋ねるが、臨床医は無視する。
テキストにまたがる6つの公開データセット(MedQA-USMLE、MedMCQA、MIMIC-CXRレポート)、イメージング(NIH ChestX-ray14、MIMIC-CXR-JPG、CheXpert)、および表型ICUレコード(SUPPORT2)の7つのコホートのうち、ジェミニ委員会はこれらのキューを分離して抵抗する(flip 5-16%)が、社会的に妥当なショートカットが広まる。
3つの監視エージェントのうち、ゲートは、正直な合意(偽陽性率100%)から養子縁組を分離することができず、同ラインの裁判官は、テキスト上の転写されたフラグのみを読み取る(精度100%、リコール93%)が、画像中のゲートに崩壊する;ホールドアウト転送を私的に画像に再問い合わせする審判(77-88%、偽陽性率13-21%)。
キューの視覚的サリエンスをトリプルすることは伝染を動かさないが、第2のピアの声は再び半分上げる。
1/10のテキストと1/134のイメージングドリフトだけで、隠れたルーリックはサイレントに近い。
委員会が行うゲームは社会的妥当性であり、自己申告から独立した審判のみがそれをキャッチする。
コード:https://github.com/ criticaldata/benchmaxxing
関連論文リスト
- MedQA-MM: Shortcuts Behind Medical Visual Reasoning [45.333881843709804]
ベンチマークスコアは最終回答を信用するが、アイテムが答えられるルートではない。
医用マルチモーダル多重選択質問(MCQ)では、適切な回答が意図された画像発見によって支持されるため、この区別が重要である。
ここでは、ルートは、モデルの隠れた認識に関するクレームではなく、回答の選択をサポートすることができる観測可能な入力パスである。
論文 参考訳（メタデータ） (2026-09-03T01:40:19Z) - Steganalysis of Adaptive Covert Collusion in Tool-Using Agent Populations: A Black-Box, Cross-Principal Approach [0.0]
大規模言語モデル(LLM)は、単一のオペレータではなく、多くのオペレータによって、共有インフラストラクチャに並行してデプロイされるようになっている。
これにより、シングルエージェントのセーフガードが逃避する集団レベルのリスクが生じる。
我々は,クロスラン相互情報推定,置換試験,分布シフト統計,タイミングとツールコール側チャネルを組み合わせたブラックボックスステガナリシス検出器を構築した。
論文 参考訳（メタデータ） (2026-08-03T13:00:25Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳（メタデータ） (2026-07-31T16:07:05Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - AI Watermark Evidence Fails Forensic Readiness: An Empirical Evaluation [0.0]
ダウベルト許容基準とNIST SP 800-86の3つの代表的な透かし法について検討した。
我々は、法的に現実的で、証拠の改ざんが困難であるため、攻撃ベクトルとしての意味保存パラフレーズに焦点をあてる。
ポイントベースのスコアリングシステムは,設計通りに機能しているにもかかわらず,法医学的無益性を十分に把握できないことがわかった。
論文 参考訳（メタデータ） (2026-07-17T14:45:53Z) - SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems [3.0458514384586404]
Retrieval-augmented Generation (RAG)エージェントは、ユーザセッションにまたがって蓄積される永続メモリでますます動作します。
通常のチャンネルを通してのみ対話する相手は、一度取り出した後、エージェントの応答を将来のユーザのために制御する、巧妙な記憶を注入することができる。
このマルチセッションメモリ・ポジショニング(Multi-Session Memory Poisoning, MMP)と呼び、既存の防衛認証がそれに反対していないことを示す。
本報告では,Smoothed Retrievalを用いたSigned Memory(SMSR)について述べる。
論文 参考訳（メタデータ） (2026-06-10T21:45:52Z) - Cross-modal linkage risk in clinical vision-language models [1.828619151598757]
視覚言語モデル(VLM)は、ペアの胸部X線写真と放射線学レポートに基づいて訓練され、インスタンスレベルの画像レポート対応を保存できる共有埋め込み空間を学習する。
これは、ラジオグラフとレポートが買収後に意図的に分離された設定でプライバシー上のリスクを生じさせる。
我々はこれをイメージ・ツー・レポート検索として定式化し、プライバシーシナリオとしてではなく、パブリック・ペアのコホートを使用してリスクを監査した。
論文 参考訳（メタデータ） (2026-06-01T14:01:46Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。
ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
論文 参考訳（メタデータ） (2026-05-09T16:07:23Z) - Representational Collapse in Multi-Agent LLM Committees: Measurement and Diversity-Aware Consensus [0.0]
マルチエージェントLDM委員会は、異なるロールプロンプトの下で同じモデルを複製し、多数決によってアウトプットを集約する。
それぞれのエージェントのチェーン・オブ・シークレットの論理を組み込んで、100 GSM8Kの質問に3つのQwen2.5-14Bのエージェントでペアの類似度を測る。
DALCは、埋め込み幾何学から多様性重量を計算するトレーニングフリーコンセンサスプロトコルであり、GSM8Kでは87%、トークンコストでは84%に達する。
論文 参考訳（メタデータ） (2026-04-04T17:30:23Z) - The Illusion of Readiness: Stress Testing Large Frontier Models on Multimodal Medical Benchmarks [63.892797968132506]
GPT-5のような大型フロンティアモデルは、医学ベンチマークでトップスコアを獲得した。
しかし、ストレステストは別の話をします。
これらのベンチマークは、今日のベンチマークが医学的理解よりもテストのトリックにどのように報いるかを公開しています。
論文 参考訳（メタデータ） (2025-09-22T17:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。