論文の概要: Can LLMs Trust Appropriately? Evaluating Calibrated Reliance on Imperfect Partners

• arxiv url: http://arxiv.org/abs/2610.34107v1
• Date: Sun, 25 Oct 2026 07:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.53668
• Title: Can LLMs Trust Appropriately? Evaluating Calibrated Reliance on Imperfect Partners
• Title（参考訳）: LLMの信頼度は適切か? : 不完全パートナーに対する校正信頼度の評価
• Abstract要約: 自律的なエージェントに対する格付けされた信頼は、実証的な証拠と前向きな意思決定ユーティリティを結合することを批判的に要求する。 23のコラボレーションカテゴリにわたる324のシナリオのベンチマークを紹介します。 我々は,36個のコントロール・ヒストリー・プローブとともに7つのモデルを評価する。
• 参考スコア（独自算出の注目度）: 8.365986208087039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly collaborate with humans and peer AI agents whose contributions may be incomplete, inconsistent, or incorrect. Effective collaboration requires calibrated trust, whereby decisions to rely on, verify, or assist a partner adapt rationally as empirical evidence accumulates. We investigate whether models translate partner evidence into appropriate reliance policies. We introduce a benchmark of 324 scenarios across 23 collaboration categories. Each scenario involves three sequential decisions with explicit transition dynamics, feedback emissions, and cost schedules, permitting exact analytical evaluation of choices against their expected consequences over the remaining interaction. Evaluating seven models alongside 36 controlled-history probes, we dissociate evidence sensitivity from normatively appropriate action. While the strongest frontier model approaches near-optimal decisions, other models exhibit recurring pathologies: procuring excessive safeguards, purchasing verification tests with zero expected value of information, prioritizing immediate savings over cooperative learning, and misallocating assistance to suboptimal channels. Supplying explicit posterior distributions resolves certain errors while introducing new failure modes. Calibrated trust in autonomous agents critically demands coupling empirical evidence with forward-looking decision utility.
• Abstract（参考訳）: 大規模な言語モデルは、不完全、矛盾、または不正確である可能性がある人間やピアAIエージェントとますます協力する。 効果的なコラボレーションには、評価された信頼が必要です。そこでは、経験的証拠が蓄積されるにつれて、パートナーが合理的に適応するための決定を頼り、検証し、または支援する必要があります。 モデルがパートナーの証拠を適切な信頼政策に変換するかどうかを検討する。 23のコラボレーションカテゴリにわたる324のシナリオのベンチマークを紹介します。 各シナリオは、明示的なトランジションダイナミクス、フィードバックエミッション、コストスケジュールを持つ3つのシーケンシャルな決定を含む。 我々は,36個の制御履歴プローブとともに7つのモデルを評価し,規範的に適切な行動から証拠感度を解離する。 最強のフロンティアモデルが最適に近い決定にアプローチする一方で、他のモデルでは、過剰な保護策の調達、情報の期待値ゼロの検証テストの取得、協調学習に対する即時的な節約の優先順位付け、最適以下のチャネルへの支援の誤配置といった、繰り返し発生する病態を示す。 明示的な後続分布の供給は、新しい障害モードを導入しながら、特定のエラーを解消する。 自律的なエージェントに対する格付けされた信頼は、実証的な証拠と前向きな意思決定ユーティリティを結合することを批判的に要求する。

関連論文リスト

• From Belief Inference to Task Action: A Multi-Level Evaluation of Theory of Mind on Verifiable Tasks [18.40352901970091]
  既存の検証可能なタスクの上に構築されたマルチレベル評価を導入する。 非対称な情報で家事コラボレーションとカレンダースケジューリングを拡張します。 供給信念はQwen-27Bの成功率を55.0%から75.0%に引き上げるが、Qwen-4Bは対応する継続条件のたった20.0%を達成しつつ、固定された供給源問題に正しく答える。
  論文  参考訳（メタデータ） (2026-10-26T03:06:04Z)
• The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
  成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。 本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
  論文  参考訳（メタデータ） (2026-09-22T16:15:55Z)
• From Matching Models to Recruiting Agents: A Systematized Narrative Review of AI Recruitment Systems, Evaluation, and Governance [1.436449142247059]
  このレビューは、ニューラル・パーソナリティ・マッチングによる双方向の検索と行動ランキングから発展を辿る。 類似性から相互適合性、モデルから複合ワークフロー、オフライン予測からエビデンスと生産性に整合した評価という3つの組み合わせの遷移を分析した。 評価証拠から最強の証明可能なクレームへのステージマッピングと,相互性,エビデンス,時間的制御,選択的,監査可能なシステムに関するアジェンダを導入する。
  論文  参考訳（メタデータ） (2026-09-03T08:46:03Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems [94.9141394384021]
  マルチエージェントシステムの個々のエージェントは、しばしば堅牢性を欠き、誤解を招く仲間に盲目的に適合する傾向にある。 この弱点は, 相互信頼度を評価する能力の欠如に起因していると考えられる。 まず,歴史認識参照の学習問題を定式化し,ピア間の歴史的相互作用を付加的な入力として導入する。 次に,歴史的に構築されたピアプロファイルの予測を行うための推論フレームワークであるEcestemic Context Learning (ECL) を開発した。
  論文  参考訳（メタデータ） (2026-01-29T13:59:32Z)
• Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
  現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。 このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。 本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-11-10T22:24:21Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Collective Reasoning Among LLMs: A Framework for Answer Validation Without Ground Truth [0.0]
  いくつかの先進的な大規模言語モデルが複雑で博士レベルの確率問題を生成・解き出す新しいアプローチを導入する。 本研究は, 多様なモデル間の合意が, アウトプットの信頼性を如何に示すかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-28T06:20:52Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。