論文の概要: The Checking Problem: What must be true before AI ships in a regulated firm
- arxiv url: http://arxiv.org/abs/2607.28666v1
- Date: Sat, 25 Jul 2026 02:35:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.353951
- Title: The Checking Problem: What must be true before AI ships in a regulated firm
- Title（参考訳）: チェック問題:AIが規制会社に出荷される前に真実でなければならないこと
- Abstract要約: 規制金融サービスにおいて毎日実施される6種類の文書は、4つのモデルファミリーと3つのツールファミリーにまたがって実行された。
筆者らは、各構成が課すレビューの負担を、後見ではなく、サンプルから見積もっている。
現実的な意味は、AIワークフローの価値は、人間がチェックしなければならない頻度よりも、正しい頻度で設定されていることです。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise AI programmes stall at a rate that is widely quoted and poorly explained. This paper measures the mechanism. Six document-heavy workflows of the kind performed daily in regulated financial services were run across four model families and three tool configurations, three times each, producing 5,093 scored output elements across 72 configurations. Each configuration was assessed twice: against a demonstration bar, being a single correct run on a single case, and against a production bar requiring sustained accuracy, reproducibility across repeats, verifiable attribution, and a confidence signal that carries information. 57 of 72 configurations cleared the demonstration bar and 32 cleared the production bar, a survival rate of 56.1%. The paper then computes the review burden each configuration imposes, estimated out of sample rather than with hindsight. A tool that states no confidence requires review of 100% of its output, because it offers a reviewer no basis for triage. Requiring the tool to cite its sources and state a confidence reduces that to 49% while holding the residual error tolerance in 17 of 20 configurations. Adding a self-verification pass costs 2.3 times the latency of the plain configuration, reaches 44%, and is the only configuration that fails to hold the error tolerance. The practical implication is that the value of an AI workflow is set less by how often it is right than by how much of it a human must still check, and that the second property is measurable and rarely measured.
- Abstract（参考訳）: エンタープライズAIプログラムは、広く引用され、説明されていない速度で停止する。
本稿ではそのメカニズムを計測する。
規制金融サービスで毎日実施される6つのドキュメント中心のワークフローは、4つのモデルファミリと3つのツール構成で実行され、それぞれ3回、72構成で5,093のアウトプット要素を生成した。
それぞれの構成は2回評価された: デモバーに対して、1つのケースで1回の正しい実行であり、持続的な正確性を必要とするプロダクションバーに対して、繰り返しの再現性、検証可能な属性、情報を運ぶ信頼信号である。
72種のうち57種がデモバーをクリアし、32種が生産バーをクリアし、生存率は56.1%となった。
次に、各構成が課すレビューの負担を計算し、後ろ向きではなく、サンプルから見積もる。
信頼を示さないツールは、リビューアにトリアージの根拠がないため、アウトプットの100%のレビューを必要とします。
ソースを引用し、自信を示すツールを必要とすると、20の構成のうち17の残差エラー耐性を保ちながら、49%に低下する。
自己検証パスを追加すると、平易な設定のレイテンシの2.3倍のコストがかかり、44%に達する。
現実的な意味は、AIワークフローの価値は、人間がチェックしなければならない頻度よりも、正しい頻度で設定されることが少なく、第2のプロパティは測定可能で、測定されることはめったにないということです。
関連論文リスト
- Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - Agent Mesh: Reliability Primitives for Non-Idempotent Agent Delegation - Identity Adequacy and Evidence Adequacy [0.0]
本報告では,81回にまたがる147件の番号付インシデントに対して,生産エージェント型ソフトウェアデリバリプラットフォームが故障したことを報告する。
50-4連続して成功したツールコールのループには、エラーレートブレーカが見つからない。
メッセージではなくデリゲートを執行単位とする7つの信頼性プリミティブを導出します。
論文 参考訳（メタデータ） (2026-08-26T15:38:21Z) - A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption [33.31789388282026]
コーディングエージェントは開発速度を増加させるだけでなく、技術的負債も増す。
以前の作業では、採用者の平均的な影響しか報告せず、チーム間の大きな違いを隠蔽しています。
私たちは、バージョン管理アーティファクトに基づく4段階の累積成熟モデルであるRAMPを紹介します。
論文 参考訳（メタデータ） (2026-08-26T00:00:48Z) - Agents That Certify Their Own Exploits: Confidence-Scheduled Restricted Responses for Safe Opponent Exploitation [38.06569764716213]
我々は,Emphbudget-Constrained confidence-scheduled limited response (CS-RNR)を導入する。
CS-RNRは、安全保証がエージェントが実際に展開する戦略に基づいて計算する証明書である最初の相手探索方式である。
論文 参考訳（メタデータ） (2026-07-30T16:57:57Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - TRACE-CTI: Auditable Post-Extraction Governance of TTP Claims with Knowledge Graphs [4.960649631468518]
TRACE-CTIは、抽出後のクレーム管理フレームワークである。
実行レベルの予測を構成レベルのGraphAssertionに集約する。
これはConsensusAssertionsとしてセットアップdedlicated corroborationを具体化する。
論文 参考訳（メタデータ） (2026-07-27T15:33:18Z) - Confidence-Aware Tool Orchestration for Robust Video Understanding [30.37722671405153]
本稿では,フレーム単位の信頼性を推論のあらゆる段階に統合するエージェントビデオ理解フレームワークであるRobust-TOを提案する。
8つのタスクにまたがる2つのビデオ推論ベンチマークで、Robost-TOはクリーンな入力で平均56.4%の精度を達成した。
5つの現実的な汚職タイプの下では、Robust-TOは54.3%の平均精度を維持し、5.8%が最強のオープンソースベースラインより上である。
論文 参考訳（メタデータ） (2026-06-25T11:37:51Z) - Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study [0.0]
HOPMは階層的なオンラインプロンプト突然変異フレームワークである。
本論文は、制御設定、サンプルサイズ、信頼区間、ペアテスト、プロンプトトークンカテゴリ、擬似コード、スキーマ、ルーリック、ガードレール分類、構築された例を含む。
論文 参考訳（メタデータ） (2026-05-31T22:17:44Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。
本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
論文 参考訳（メタデータ） (2026-01-17T19:47:55Z) - Shrinking the Generation-Verification Gap with Weak Verifiers [42.538675831498715]
検証者は、生成された候補から応答をスコア付けしてランク付けすることで、言語モデル機能を改善することができる。
Weaverは、複数の弱い不完全な検証器を組み合わせることで、強力な検証器を設計するためのフレームワークである。
論文 参考訳（メタデータ） (2025-06-22T23:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。