論文の概要: The Delegation Blind Spot: Auditing Product Decisions from Agent Choices
- arxiv url: http://arxiv.org/abs/2609.26642v1
- Date: Tue, 22 Sep 2026 16:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.741015
- Title: The Delegation Blind Spot: Auditing Product Decisions from Agent Choices
- Title(参考訳): デリゲーション・ブラインド・スポット:エージェント選択による製品決定の監査
- Abstract要約: 成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
- 参考スコア(独自算出の注目度): 2.731113456484581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Successful agent execution need not identify which future product improvement its user would value. We present a decision-specific audit that maps a declared observation channel and product-value contrast to compatible intervals and witness populations. Its foundations are established identification and decision theory; the contribution is an executable measurement workflow and a controlled study of its limits. A frozen experiment makes 4,800 requests to two pinned model snapshots on shared synthetic tasks. All 36 conservative primary intervals remain unresolved despite different execution accuracy. An exploratory 2,400-call follow-up records supplied preferences and resolves three of nine comparisons per model. A deterministic extractor resolves seven of nine without model calls or calibration observations, exposing unnecessary uncertainty introduced by model-generated reports. A further 14,400 controlled multinomial simulations distinguish structural ambiguity from weak identification and finite calibration precision. We propose a source-labeled decision receipt and provide an offline viewer for inspecting the audit. These results motivate preserving decision-relevant structured input and diagnosing why a decision is unresolved before collecting more telemetry. The study contains no human participants or real customer outcomes. Full proofs, raw model provenance, controlled experiments, and reproducible analyses accompany the report.
- Abstract(参考訳): 成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。
本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
その基礎は確立された識別と決定理論であり、その貢献は実行可能な測定ワークフローであり、その限界に関する制御された研究である。
凍結実験では、共有合成タスクで2つのピン付きモデルスナップショットに対して4,800のリクエストを行う。
36の一次区間は全て、実行精度が異なるにもかかわらず未解決のままである。
探索的な2400回の追跡記録では、好みが与えられ、1モデルあたりの9つの比較のうち3つが解決される。
決定論的抽出器は、モデル呼び出しや校正観測なしに、9つのうち7つを分解し、モデル生成レポートによって生じる不確実性を明らかにする。
さらに14,400の制御されたマルチノミカルシミュレーションは、構造的曖昧さと弱い識別と有限の校正精度を区別する。
ソースラベル付き意思決定レシートを提案し,監査を検査するためのオフラインビューアを提供する。
これらの結果は、意思決定に関連のある構造化された入力を保存し、より多くのテレメトリを集める前に意思決定が解決されない理由を診断する動機付けとなる。
この研究には、人間の参加者や実際の顧客成果は含まれていない。
報告書には、完全な証明、生モデルの証明、制御された実験、再現可能な分析が伴っていた。
関連論文リスト
- Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。
しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。
本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
論文 参考訳(メタデータ) (2026-09-17T18:28:45Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳(メタデータ) (2026-09-17T10:51:37Z) - Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳(メタデータ) (2026-09-17T09:17:00Z) - Self-Reports Are Not Verification: Environment-Grounded Auditing of LLM Operators in Evolutionary Search [1.402200998845899]
各中間提案が正確な結果を受け取る環境監査を導入する。
言語モデルは進化的コンテキスト検索を演算し、フィードバック関数は人間のアノテーションなしで正確なランクを推測する全ての有効な推測を割り当てる。
信頼度は校正され、継承された合理的性は後続の提案に影響を及ぼし、フィットネスベースの選択はレポートの品質を改善する。
論文 参考訳(メタデータ) (2026-09-01T03:28:37Z) - Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability [11.987280372027032]
本論文は,誤差が全く局所化可能であるか否かを判定するスコアの選択を提供する。
次に、単一の監査された分析において、誤ったフラグ付けされた操作の割合を制御する手順を提示する。
論文 参考訳(メタデータ) (2026-08-06T00:42:43Z) - HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks [1.416562653124415]
プローブレベルのコストでパラメトリック・ハイドサイトをプロファイリングする行動監査プロトコルであるHindsightBenchを提案する。
258ノードのヴィンテージ正しいマクロパネル上の7つのベンダーから15のモデルに適用すると、3つの見出しパターンが得られる。
パネル、凍結事前登録、ドルコスト、書き起こし、および1つのコマンドによる再生を伴うモデルごとの監査列を公開します。
論文 参考訳(メタデータ) (2026-07-21T08:58:36Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳(メタデータ) (2026-05-13T08:49:51Z) - Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。
本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
論文 参考訳(メタデータ) (2024-12-12T18:52:40Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳(メタデータ) (2022-11-14T14:25:40Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。