論文の概要: BENCHCOMPASS: From Scores to Signals for Training and Harness Decisions in Payment-Domain LLMs

• arxiv url: http://arxiv.org/abs/2609.18270v1
• Date: Wed, 16 Sep 2026 07:49:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.699757
• Title: BENCHCOMPASS: From Scores to Signals for Training and Harness Decisions in Payment-Domain LLMs
• Title（参考訳）: BENCHCOMPASS:ペイメント・ド・メインLLMにおけるトレーニング・ハーネス決定のためのスコアから信号へ
• Abstract要約: 本稿では,BENCHCOMPASSについて紹介する。BENCHCOMPASSは,入力されたエビデンスパックからシナリオ付きタスクを構築可能な,支払いドメインのベンチマークである。 16種類のモデルにおいて、BENCHCOMPASSは、パラメトリック支払い知識の欠如、供給されたルールに対する不完全な推論、妥当だが無効な拒絶の失敗など、さまざまな障害モードを示す。
• 参考スコア（独自算出の注目度）: 15.09561271084514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Payment operations are a critical financial infrastructure, but the value of large language models in this domain remains unclear because payment rules change quickly, evidence is fragmented, and decisions depend on transaction state, participant role, region, and payment rail. Existing benchmarks do not isolate whether failures come from missing payment-rule knowledge, poor use of supplied evidence, or brittleness under imperfect harness inputs. We introduce BENCHCOMPASS, a payment-domain benchmark whose construction pipeline builds scenario-grounded tasks from typed evidence packs, applies LLM-based quality checks, creates task-input attack variants, and reserves final item admission for domain experts. The release contains an expert-reviewed Pro benchmark covering payment knowledge, context-grounded scenario reasoning, and Attacked Open robustness, plus a lower-assurance Normal pool for inspection and future curation. Across 16 model variants, BENCHCOMPASS shows qualitatively different failure modes: missing parametric payment knowledge, incomplete reasoning over supplied rules, and failure to reject plausible but invalid workflows. The benchmark remains unsaturated: the best frontier model reaches 89.6% on Open Context-Grounded Reasoning and 81.7% under attacked inputs, while a representative 32B open-weight model reaches 69.8% and 42.6%. Benchmark data and code are available at https://github.com/ant-intl/BenchCompass.
• Abstract（参考訳）: 支払い業務は重要な金融基盤であるが、支払いルールが急速に変化し、証拠が断片化され、決定は取引状態、参加者の役割、地域、支払いレールに依存するため、この領域における大きな言語モデルの価値は依然として不明である。 既存のベンチマークでは、支払いルールの知識の欠如、供給された証拠の不十分な使用、不完全な電源入力下での脆さを区別していない。 本稿では,BENCHCOMPASSについて紹介する。BENCHCOMPASS,BENCHCOMPASS,BENCHCOMPASS,BENCHCOMPASS,BENCHCOMPASS,BENCHCOMPASS,BENCHCOMPASS,BENCHCOMP ASS,BENCHCOMPASS。 このリリースには、支払い知識、コンテキストベースシナリオ推論、アタックドオープンロバスト性、検査と今後のキュレーションのための低保証ノーマルプールを含む、専門家レビューされたProベンチマークが含まれている。 16種類のモデルで、BENCHCOMPASSは、パラメトリックな支払い知識の欠如、供給されたルールに対する不完全な推論、妥当だが無効なワークフローの拒否の失敗など、定性的に異なる障害モードを示す。 ベストフロンティアモデルは、Open Context-Grounded Reasoningで89.6%、攻撃された入力で81.7%に達し、32Bのオープンウェイトモデルは69.8%、42.6%に達した。 ベンチマークデータとコードはhttps://github.com/ant-intl/BenchCompass.comで入手できる。

関連論文リスト

• FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems [0.0]
  FinRCA-Benchは、14の運用テーブルにまたがる2250の口座支払い可能な銀行間和解ケースのベンチマークである。 その結果,構造的検索の失敗は,95～15の精度で推理的検索の失敗をはるかに上回っていることがわかった。 FinRCA-Benchでは、検索アーキテクチャがAIシステムの性能を強く観察し、ルート原因ラベルは聴覚診断の弱いプロキシである。
  論文  参考訳（メタデータ） (2026-08-19T04:36:01Z)
• AWARE-FX: An Auditable Knowledge-Guided AI System for Measuring Corporate Foreign-Exchange Hedging Disclosure [5.667104793245957]
  企業年次報告書には、外国為替リスク管理、デリバティブ・ユース、ナチュラル・ヘッジ、明示的な非使用に関する弱い構造化された証拠が含まれている。 本研究では,AI/NLP意思決定支援システムであるAWARE-FXを開発した。
  論文  参考訳（メタデータ） (2026-07-30T02:58:46Z)
• Budgeted Act-or-Defer Multi-Agent LLM Deliberation with Local Reliability Bounds [8.682220907885714]
  これを予算化された行動または決定決定として定式化します。 システムは議論のプレフィックスを低次元の状態にマップする。 境界がユーザ指定の信頼性しきい値を超えた場合にのみ作用する。
  論文  参考訳（メタデータ） (2026-06-28T23:46:56Z)
• DFAH-Bench: Benchmarking Observable Agent Instability in Financial Decision-Making [0.7699235580548228]
  DFAH-Benchは、金融業者の意思決定における観測可能な行動不安定性を測定するリプレイベンチマークである。 同じツールパスに従っている間、フロンティアモデルは95%の時間で決定に合意できるのは77%に過ぎません。 入力によらず1つの出力に崩壊することでほぼ完全な一致を達成できるパターンマッチング,比較的一貫したツール使用プロセスを持つ安定した実行器,そして物質的に異なるツールパスとエビデンスコンタクトを通じて同じ結論に達する軌道分岐器の3つの挙動プロファイルを同定する。
  論文  参考訳（メタデータ） (2026-06-10T03:31:09Z)
• SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
  言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。 私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。 SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
  論文  参考訳（メタデータ） (2026-04-07T19:19:29Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
  RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。 このベンチマークでは、2つの補完的なタスクが定義されている。
  論文  参考訳（メタデータ） (2026-01-07T18:18:28Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。