論文の概要: Crypto Accounting Bench: Evaluating Frontier and Open-Weight Models on Crypto-Asset Accounting Tasks

• arxiv url: http://arxiv.org/abs/2609.14811v1
• Date: Sun, 13 Sep 2026 21:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.989155
• Title: Crypto Accounting Bench: Evaluating Frontier and Open-Weight Models on Crypto-Asset Accounting Tasks
• Title（参考訳）: Crypto Accounting Bench: 暗号資産会計タスクにおけるフロンティアモデルとオープンウェイトモデルの評価
• Abstract要約: このベンチマークは、フロンティアとオープンウェイト言語モデルが、企業が暗号資産取引のために投稿した完全なジャーナルエントリを再構築できるかどうかを評価するものである。 CABには7つの匿名組織から引き出された118の評価タスクが含まれている。 プロプライエタリなフロンティアシステムとオープンウェイトリリースにまたがる12のモデルを,タスク毎に3つの独立した試行に対して評価し,4,248個のトラジェクトリを生成した。
• 参考スコア（独自算出の注目度）: 8.224773321617048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Crypto Accounting Bench (CAB), a benchmark for assessing whether frontier and open-weight language models can reconstruct the complete journal entry that an organization actually posted for a crypto-asset transaction. CAB contains 118 evaluation tasks drawn from 7 pseudonymized organizations. Each task combines transaction mechanics, asset quantities and base-currency values, wallet and legal-entity context, counterparty evidence, related transaction legs, recurrence, tax-lot evidence, and the organization's complete chart of accounts. The target is a balanced structured entry with every required account, side, amount, currency, and full-precision asset quantity. We evaluate 12 models spanning proprietary frontier systems and open-weight releases over 3 independent attempts per task, producing 4,248 trajectories. We report 3 metrics: Mean Score, Best@3, and Pass@3. Pass@3 is the fraction of tasks with at least 1 of 3 attempts that satisfies every rubric criterion and required gate. The leading model reaches 77.43% Mean Score, while the best Pass@3 is 56.78%. Deterministic diagnostics, read from each task's best of 3 attempts and macro-averaged across the 12 models, show higher base-amount agreement (97.8%) than deciding-account accuracy (56.3%). Together with the failure analysis, these results identify account selection and complete-entry composition as the main remaining challenges on CAB.
• Abstract（参考訳）: 我々は、フロンティアとオープンウェイト言語モデルが、組織が実際に暗号資産取引のために投稿した完全なジャーナルエントリを再構築できるかどうかを評価するベンチマークであるCrypto Accounting Bench(CAB)を紹介します。 CABには7つの匿名組織から引き出された118の評価タスクが含まれている。 それぞれのタスクは、取引の仕組み、資産量と基本通貨の値、ウォレットと法定通貨のコンテキスト、対価の証拠、関連する取引の脚、再発、税率の証拠、および組織の口座の完全なチャートを組み合わせている。 ターゲットは、必要な口座、側、金額、通貨、完全精度資産量をすべて含むバランスの取れたエントリーである。 プロプライエタリなフロンティアシステムとオープンウェイトリリースにまたがる12のモデルを,タスク毎に3つの独立した試行に対して評価し,4,248個のトラジェクトリを生成した。 Mean Score、Best@3、Pass@3の3つのメトリクスを報告します。 Pass@3は、すべてのルーリックな基準と必要なゲートを満たす3つの試行のうち、少なくとも1つのタスクのごく一部である。 平均スコアは77.43%、Pass@3は56.78%である。 決定論的診断(Deterministic diagnosiss)は、各タスクのベスト3から読み出し、12モデルでマクロ平均化され、基準値の一致(97.8%)は、判定値の精度(56.3%)よりも高い。 これらの結果は,障害解析と合わせて,CABに残る主な課題として,アカウント選択と完全エントリー構成を同定する。

関連論文リスト

• FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems [0.0]
  FinRCA-Benchは、14の運用テーブルにまたがる2250の口座支払い可能な銀行間和解ケースのベンチマークである。 その結果,構造的検索の失敗は,95～15の精度で推理的検索の失敗をはるかに上回っていることがわかった。 FinRCA-Benchでは、検索アーキテクチャがAIシステムの性能を強く観察し、ルート原因ラベルは聴覚診断の弱いプロキシである。
  論文  参考訳（メタデータ） (2026-08-19T04:36:01Z)
• APEX-Accounting [4.129208607223545]
  我々は、マーサーがRampと共同で構築したベンチマークであるAPEX-Accountingを導入し、フロンティアモデルが会計士の実際の仕事をできるかどうかを評価する。 タスクには、口座の調整、経費の徴収、取引の投稿、レポートの作成が含まれる。 あらゆるタスクは会計と簿記の専門家によって作成され、解決された。
  論文  参考訳（メタデータ） (2026-07-29T17:56:49Z)
• FinBalance: A Multi-Document Accounting Reconciliation Benchmark [8.847249672723981]
  FinBalanceは、8つの業界にまたがるソースドキュメントバンドルから構築されたマルチドキュメント会計調整ベンチマークである。 ヒューマンオーサリングされたビジネスシナリオ、会計ポリシー、税金/FX処理、ドキュメントスキーマ、イントラクタ、一貫性のないテンプレートは、決定論的ジェネレータによって構成されます。 710レコードの評価分割では、6つの現代のLCMが最大で46%の精度で最終バランスシートに到達した。
  論文  参考訳（メタデータ） (2026-06-14T18:09:34Z)
• Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
  Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。 私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。 ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
  論文  参考訳（メタデータ） (2026-05-25T17:44:21Z)
• Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
  FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。 コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。 76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
  論文  参考訳（メタデータ） (2026-05-06T19:59:51Z)
• TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
  大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。 TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。 我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
  論文  参考訳（メタデータ） (2026-04-29T19:32:58Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows [0.5798758080057375]
  非決定論的出力(アウトプットドリフト)は監査性と信頼を損なう。 規制された金融業務に関する5つのモデルアーキテクチャ間のドリフトを定量化する。 この発見は、より大きなモデルがプロダクションデプロイメントに普遍的に優れているという従来の仮定に挑戦する。
  論文  参考訳（メタデータ） (2025-11-10T19:54:00Z)
• CUARewardBench: A Benchmark for Evaluating Reward Models on Computer-using Agent [46.41047559759938]
  CUA(Computer-using Agent)は、オペレーティングシステムやソフトウェアインターフェースとの自然なインタラクションを通じてタスクの完了を可能にするエージェントである。 Reward モデルは有望な代替手段を提供するが、CUA 評価におけるその有効性はほとんど未検討である。 CUARewardBenchは4つの重要なコントリビューションから構成される。
  論文  参考訳（メタデータ） (2025-10-21T12:53:40Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information [47.37027539828975]
  FinTaggingは構造認識とフルスコープのための最初の包括的なベンチマークである。 タグ付け 数値識別用FinNIは、数値エンティティとそのタイプを抽出する。 財務報告 概念リンクのためのFinCLは、抽出された各実体を米国の完全な分類学における対応する概念にマッピングする。
  論文  参考訳（メタデータ） (2025-05-27T02:55:53Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。