論文の概要: FinalityBench: An Effect-Level Benchmark for Agent Decisions Under Delayed and Conflicting Financial Finality
- arxiv url: http://arxiv.org/abs/2609.04706v1
- Date: Fri, 04 Sep 2026 04:24:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.9073
- Title: FinalityBench: An Effect-Level Benchmark for Agent Decisions Under Delayed and Conflicting Financial Finality
- Title（参考訳）: FinalityBench: 金融ファイナリティの遅延と相反するエージェント決定のためのエフェクトレベルベンチマーク
- Abstract要約: FinalityBenchは、ファイナリティゲーティング決定のための実行可能なベンチマークである。
グラディングは実行された金銭的効果に基づいており、あるエピソードは商人の経済的な立場によって記録される。
権威的ファイナリティプローブ上の不可逆的なアクションをゲーティングするランタイムは85.4%に達し、全てのポーリングポリシーとは異なり、パス5には何も失われない。
- 参考スコア（独自算出の注目度）: 1.350933217151331
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A merchant's payment processor, ledger, ERP and bank feed are updated by messages that get delayed, duplicated, dropped and reordered, so for minutes at a time the four hold contradictory beliefs about the same order. An agent resolving the exception must decide whether to ship goods, re-submit a capture, refund or wait, knowing some of those cannot be undone. We present FinalityBench, an executable benchmark for that decision. It keeps a hidden canonical event log and derives each system's view from a separately faulted delivery stream, so disagreement follows from specified fault semantics rather than being authored. Grading is on executed monetary effects: an episode is scored by the merchant's terminal economic position, relative to a privileged reference told when the pending capture resolves. The corpus of 321 tasks includes 45 twin pairs (90 tasks): tasks whose four system views are identical at the decision instant, whose authoritative probes both return unknown, and whose eventual correct dispositions differ. That snapshot indistinguishability is checked under every evaluation seed rather than assumed; equivalence over all interaction traces is not claimed. Over 14,445 graded episodes from nine programmatic policies, ranking by single-task accuracy and by paired loss disagree in 7 places: a ship-on-first-sign policy is second-best by accuracy at 65.7% and worst in the suite by paired loss, because it cannot tell the two members apart. A runtime gating irreversible actions on an authoritative finality probe reaches 85.4% and, unlike every polling policy, loses nothing to pass^5; its residual loss is almost entirely one archetype, which prices finality information directly. Language models reach the same exact rate as the hand-written gate on a stratified subset, lose about twice as much money, and discover the finality-gating strategy without being told it.
- Abstract（参考訳）: 商人の支払いプロセッサ、台帳、ERP、および銀行のフィードは、遅れ、複製され、取り下げられ、再注文されるメッセージによって更新される。
例外を解決する代理人は、商品の出荷、捕獲、返却、又は待機を判断しなければならない。
この決定の実行可能なベンチマークであるFinalityBenchを紹介します。
隠れた標準イベントログを保持し、個別に障害のある配信ストリームから各システムのビューを導出する。
あるエピソードは商人の経済の終末位置によって、保留中の捕獲が解決した時に伝えられる特権的基準に対して得点される。
321タスクのコーパスには45のツインペア(90のタスク)が含まれており、4つのシステムビューが決定時点で同一であるタスク、権威的プローブがどちらも未知で、最終的に正しい配置が異なるタスクである。
そのスナップショットの不一致性は、仮定されるのではなく、すべての評価シードの下でチェックされる。
14,445回以上、9つのプログラム上のポリシーからランク付けされ、シングルタスクの精度でランク付けされ、ペアの損失が7か所で一致しない: 出荷時のファーストサインのポリシーは、65.7%の精度で2番目に高く、ペアの損失で最悪である。
権威的最終性プローブ上の不可逆的な動作をゲーティングするランタイムは85.4%に達し、全てのポーリングポリシーとは異なり、何もパスすることができない。
言語モデルは、階層化されたサブセット上の手書きゲートと同じ速度に達し、約2倍の損失を被り、それを伝えることなく最終的なゲート戦略を発見する。
関連論文リスト
- IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Agent Mesh: Reliability Primitives for Non-Idempotent Agent Delegation - Identity Adequacy and Evidence Adequacy [0.0]
本報告では,81回にまたがる147件の番号付インシデントに対して,生産エージェント型ソフトウェアデリバリプラットフォームが故障したことを報告する。
50-4連続して成功したツールコールのループには、エラーレートブレーカが見つからない。
メッセージではなくデリゲートを執行単位とする7つの信頼性プリミティブを導出します。
論文 参考訳（メタデータ） (2026-08-26T15:38:21Z) - When Stale Constraints Go Unchecked: Budgeted Verification Failures in Inherited Agent Memory [0.0]
証拠リンクは、継承された信条の裏にある証拠を保持しており、検証予算を持つエージェントは、検査するリンクを選択する必要がある。
我々は、決定制約を記述し、ソースレコードを削除したレコードに置き換えた統合記憶について研究する。
16の言語モデルは、落ち着いたように読む制約を再検証することはめったにない。
ひとたび制約が過小評価されると、77.3%、74.7%、74.7%のエピソードが一次実行、複製、保留領域で安定的な決定を下した。
論文 参考訳（メタデータ） (2026-08-26T09:04:21Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle [0.0]
LLMエージェントは、コストを駆動する状態が直接観察されない複数週間の意思決定タスクにおいて、ますます評価される。
一部観測可能なマルコフ決定プロセスとして構築された26週間のサプライチェーン補充ベンチマークであるSTOCKTAKEを紹介する。
論文 参考訳（メタデータ） (2026-07-15T09:08:27Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。
我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。
Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
論文 参考訳（メタデータ） (2026-06-05T22:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。