論文の概要: TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences

• arxiv url: http://arxiv.org/abs/2610.27256v1
• Date: Mon, 19 Oct 2026 20:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.494125
• Title: TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences
• Title（参考訳）: TxnQA: トランザクションイベントシーケンスに対する分析的推論とエビデンスグラウンドのベンチマーク
• Abstract要約: TxnQAは27のタスクファミリ(81-インスタンス)と5-scenario詐欺推論スイートからなる分析QAベンチマークである。 500インスタンス詐欺スイートでは、判定精度は80%を超えているが、共同精度(正確な証拠の帰属を要求する)は少なくとも23%に低下する。 これらの結果は、トランザクションシーケンスQAにおける3つの異なるボトルネックとして、コンプライアンス、セマンティック計算、エビデンス属性を識別する。
• 参考スコア（独自算出の注目度）: 8.283156124457799
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Analyzing merchant transaction histories requires dynamic temporal filtering, entity resolution, and aggregation over irregular event streams--operations poorly captured by static tabular or time-series forecasting benchmarks. We introduce TxnQA, an analytical QA benchmark comprising 27 task families (81 templates) alongside a 5-scenario fraud-risk reasoning suite that evaluates both verdicts and supporting evidence over synthetic, privacy-mitigated transaction data. Ground-truth answers are computed programmatically, and model performance is decomposed into format-following rate (FFR), conditional content accuracy (CA), and end-to-end correctness (E2E). Evaluating prompted proprietary baselines and six LoRA-adapted open-weight models shows that adaptation reliably enforces output schemas but leaves arithmetic bottlenecks: Gemma-4-31B-IT and Qwen3-8B attain E2E scores of 0.867 and 0.816, whereas evaluated MoE checkpoints reach only 0.632-0.713. Furthermore, on the 500-instance fraud suite, verdict accuracy frequently exceeds 80%, yet joint accuracy (requiring exact evidence attribution) collapses to at most ~23%. These findings identify schema compliance, semantic calculation, and evidence attribution as three distinct bottlenecks in transaction-sequence QA.
• Abstract（参考訳）: 商取引履歴の分析には、動的時間的フィルタリング、エンティティの解決、不規則なイベントストリーム上の集約が必要です。 TxnQAは、27のタスクファミリー(81のテンプレート)からなる分析QAベンチマークで、5-scenarioの不正リスク推論スイートとともに、総合的かつプライバシー保護されたトランザクションデータに対する検証と証拠の双方を評価する。 グラウンドトルース回答をプログラムで計算し、モデル性能をフォーマットフォロー率(FFR)、条件付きコンテンツ精度(CA)、エンドツーエンドの正確性(E2E)に分解する。 ゲマ-4-31B-ITとQwen3-8BはE2Eスコア 0.867 と 0.816 を獲得し、評価されたMoEチェックポイントは 0.632-0.713 である。 さらに500-instance詐欺スイートでは、検証精度は80%を超えることが多いが、結合精度(正確な証拠を要求)は少なくとも23%に低下する。 これらの結果から、スキーマコンプライアンス、セマンティック計算、エビデンス属性を、トランザクションシーケンスQAの3つの異なるボトルネックとして同定した。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
  より強力なモデルで対処されていない障害モードを特定します。 文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
  論文  参考訳（メタデータ） (2026-09-23T23:52:24Z)
• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
  エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。 正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。 本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
  論文  参考訳（メタデータ） (2026-08-01T17:50:12Z)
• Large Language Model-Powered Query-Driven Event Timeline Summarization in Industrial Search [49.02761046363752]
  本稿では、Baidu Search上にデプロイされた実運用システムであるQDET(Query-Driven Event Timeline Summarization)を紹介する。 QDETは、毎日取得された数百万のドキュメントによって形成されたノイズの多い候補セットから、クエリに密接に関連するサブイベントを特定し、整理する。 Baidu SearchのオンラインA/Bテストでは、現実世界の有効性が検証され、CTRが5.5%改善し、居住時間が4.6%長く、4.4%深かった。
  論文  参考訳（メタデータ） (2026-05-26T14:16:27Z)
• Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval [0.0]
  大型言語モデル (LLM) は前例のない流布を達成したが、「幻覚」の影響を受けないままである。 本研究では,LLMをパターンマッチングから真偽探索へシフトさせることにより,事実不正確さを検知する階層型検索・検証アーキテクチャを提案する。 システムは5つの多様なベンチマークから650のクエリで評価された。
  論文  参考訳（メタデータ） (2026-03-18T15:59:30Z)
• PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
  本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。 現在の検証器は、しばしば導出欠陥を検出するのに失敗する。 本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-12T04:45:01Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
  LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。 本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
  論文  参考訳（メタデータ） (2026-01-17T19:47:55Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。