論文の概要: Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams

• arxiv url: http://arxiv.org/abs/2610.19051v1
• Date: Tue, 13 Oct 2026 18:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.762116
• Title: Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams
• Title（参考訳）: スマートアローンとブラインド: マルチエージェントチームにおけるマインドの認定に正確性が欠けている理由
• Abstract要約: 私たちは2つの理由から、正確さが間違った証明書であると主張している。 まず、動作に必要な正確性は、間違ったアクションコストに依存するため、バーはモジュールではなく、デプロイメントに属します。 モジュールをデプロイすることなく,エラーコスト,ペアインタラクション,および測定依存性の価格を設定できるBlind-Spot Gateを用いて,デプロイの認証を提案する。
• 参考スコア（独自算出の注目度）: 0.34376560669160394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coordinators that act on what they infer about teammates are usually certified by the accuracy of those inferences. We argue that accuracy is the wrong certificate, for two reasons. First, the accuracy needed to act depends on what a wrong action costs, so the bar belongs to the deployment, not the module. Second, a module's errors are rarely independent, and dependence has a sign: positively associated errors help where their damage overlaps and hurt where it compounds, so an accuracy threshold fails in a predictable direction, and once wrong beliefs interact and can do harm, no rule based on accuracy is right for every module. We test these predictions in task assignment, Level-Based Foraging and Hanabi, with injected errors, trained and Bayesian modules and five language models, and in human judgments. Accuracy fails in both directions, approving harmful language-model deployments in Hanabi, where shared errors compound, and rejecting beneficial ones in task assignment, where costly errors are rare. In our tasks it also buys far less redundancy than independence predicts: from GPT-5.4-mini to Claude Opus 5.5, error on teammates the models have evidence about falls from 32% to 11%, but the chance that all three observers misread one falls only from 16% to 9% (independence: 3.4% to 0.15%). We propose certifying the deployment, with a Blind-Spot Gate that prices error costs, pairwise interactions and measured dependence without deploying the module. On held-out data from the cells it was developed on, it makes no significant false approval in 20 splits (accuracy: 3.2 per split), and in preregistered tests on modules it was not developed on, it recovers what accuracy rejects (seven classifiers: regret 0.004 against 0.479) and catches what accuracy approves (a Bayesian module: significant false approvals in 17 of 20 splits for accuracy, 1 for the gate).
• Abstract（参考訳）: チームメイトについて推測するものに作用するコーディネータは通常、それらの推論の正確さによって認定される。 私たちは2つの理由から、正確さが間違った証明書であると主張している。 まず、動作に必要な正確性は、間違ったアクションコストに依存するため、バーはモジュールではなく、デプロイメントに属します。 第2に、モジュールのエラーは滅多に独立せず、依存にはサインがある: 正に関連付けられたエラーは、損傷が重なり、それが混ざり合う場所が傷つくのに役立つため、精度の閾値が予測可能な方向に失敗し、間違った信念が相互作用し、害を負うことができれば、すべてのモジュールに対して正確性に基づくルールが正しいとは限らない。 我々は,これらの予測をタスク割り当て,レベルベース予測,ハナビ,インジェクションエラー,訓練されたベイズモジュールと5つの言語モデル,そして人間の判断で検証する。 どちらの方向にも正確性は失敗し、共有エラーが複雑になるハナビでの有害な言語モデルデプロイメントを承認し、コストのかかるエラーが稀なタスク割り当てにおいて有益なものを拒否した。 GPT-5.4-mini から Claude Opus 5.5 まで、チームメイトに対する誤差は、32% から 11% に落ちているという証拠を持っているが、3人の観察者全員が16% から 9% に落ちている(独立性: 3.4% から 0.15%)。 モジュールをデプロイすることなく,エラーコスト,ペアインタラクション,および測定依存性の価格を設定できるBlind-Spot Gateを用いて,デプロイの認証を提案する。 開発した細胞からの保持されたデータについて、20分割(精度:3.2パース)で有意な偽の承認を行わず、開発されていないモジュールの事前登録テストでは、どの精度が拒否されるか(7つの分類子:0.004対0.479)を回収し、何の精度が承認されるか(ベイズモジュール:20分割のうち17の重大な偽の承認、ゲートは1である)をキャッチする。

関連論文リスト

• EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
  接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
  論文  参考訳（メタデータ） (2026-09-15T12:18:19Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Reliability analysis for BraTS-GoAT segmentation: a controlled robustness study of deep-ensemble uncertainty [5.504955093712013]
  ディープネットワークは脳腫瘍を正確に分配するが、入力がトレーニングデータと異なる場合、静かに失敗する可能性がある。 モデルセグメントがどの程度優れているのか、その不確実性はいつ間違っているのかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-13T13:27:21Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
  ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。 15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。 信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
  論文  参考訳（メタデータ） (2026-07-10T01:56:30Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles [38.23896575179384]
  本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。 1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。 iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
  論文  参考訳（メタデータ） (2021-06-29T21:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。