論文の概要: IFRS Compliance Verification: An Open Multi-LLM Benchmark and Content-Conditioned Ensemble Classifier
- arxiv url: http://arxiv.org/abs/2611.13595v1
- Date: Tue, 10 Nov 2026 05:12:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.698247
- Title: IFRS Compliance Verification: An Open Multi-LLM Benchmark and Content-Conditioned Ensemble Classifier
- Title(参考訳): IFRS準拠検証:オープンマルチLLMベンチマークとコンテンツ記述型アンサンブル分類器
- Abstract要約: シングルモデル精度は高い使用量では不十分である。
ナイーブ・アンサンブルは、最も強い個々のアノテータより下位の集約精度を引き出すことができる、系統的なモデルごとのバイアスに対して脆弱である。
このギャップは、19,998の規制と開示のペアの新しいベンチマークでサポートされたマルチステージフレームワークで対処されている。
- 参考スコア(独自算出の注目度): 4.45524792930017
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Verifying corporate financial disclosures against the International Financial Reporting Standards (IFRS) is a core auditing task in which experts cross-reference disclosures with hundreds of fine-grained regulatory paragraphs: a laborious, costly, and error-prone process that motivates growing interest in large language models (LLMs) as compliance assistants. Yet single-model accuracy remains insufficient for high-stakes use, and naive ensembling is vulnerable to systematic per-model biases that can drag aggregate accuracy below that of the strongest individual annotator. This gap is addressed with a multi-stage framework, supported by a new benchmark of 19,998 IFRS regulation-disclosure pairs comprising 11,161 unanimous multi-LLM labels and 8,837 human annotations on items where the LLMs disagreed. The framework couples a three-stage domain-adapted sentence embedding pipeline (BERT masked language modeling on SEC EDGAR filings, unsupervised TSDAE and SimCSE adaptation, and supervised contrastive alignment) with a learned ensemble classifier that fuses frozen embeddings and LLM probability features from GPT-4.1, Claude Sonnet 4, and Gemini 2.5 Pro via Tree-structured Parzen Estimator (TPE) optimized gradient-boosted trees. On the disagreement set, the ensemble achieves 81.7% weighted F1, exceeding the strongest single LLM by 10.4 points and majority voting by 14.6 points, and outperforms eleven unsupervised aggregation baselines; the retrieval pipeline attains Recall@15 of 45.3% on unseen regulations. The dataset, model checkpoints, annotation platform, and classifier implementation will be publicly released.
- Abstract(参考訳): 国際金融報告基準(IFRS、International Financial Reporting Standards)に対する企業財務開示の検証は、専門家が数百の細かい規制条項で相互参照開示を行う中核的な監査課題である。
しかし、シングルモデル精度はハイテイク使用には不十分であり、ナイーブアンサンブルは、最も強い個々のアノテータより下位の集約精度を引き出すことができる、系統的なモデルごとのバイアスに対して脆弱である。
このギャップは、11,161の汎用マルチLLMラベルと8,837の人間アノテーションを含むIFRS規制と開示のペアからなる19,998の新たなベンチマークによって、マルチステージフレームワークで解決されている。
このフレームワークは、SEC EDGARへの3段階のドメイン適応型文埋め込みパイプライン(BERTマスク付き言語モデリング、教師なしのTSDAEとSimCSE適応、および教師なしのコントラストアライメント)と、GPT-4.1、Claude Sonnet 4、Gemini 2.5 ProによるGPT-4.1、Tree-structured Parzen Estimator (TPE)による凍結埋め込みとLLMの確率特徴を融合する学習アンサンブル分類器を結合している。
この不一致セットでは、アンサンブルは81.7%の重み付きF1を達成し、最強のシングルLLMを10.4ポイント、多数投票を14.6ポイント上回り、11の非教師なしアグリゲーションベースラインを上回り、検索パイプラインは45.3%のリコール@15を達成する。
データセット、モデルチェックポイント、アノテーションプラットフォーム、クラス化実装が公開される。
関連論文リスト
- MABPD: Multi-Agent Bias Probing & Detection via Structured Argument Debate [0.06999740786886537]
MABPD(Multi-Agent Bias Probing & Detection)は、教師付き分類に代わる、原則化された、トレーニングなしの代替品である。
SADは、証明のドメイン動機による非対称な負担を実装する。
アブレーションは、単なるエージェント並列性ではなく、この構造化された検討によって性能が向上することを確認した。
論文 参考訳(メタデータ) (2026-09-04T07:58:33Z) - AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling [3.2665457005470504]
LLM審査員はエージェントツール呼び出しシステムの評価に広く用いられているが、構造化された依存性駆動システムに対する信頼性はほとんど検討されていない。
本稿では,MLM-as-a-judge信頼性をワークフローDAG上でのエージェントツール呼び出しに対して体系的に研究する最初のベンチマークであるAgentJudgeBenchを提案する。
論文 参考訳(メタデータ) (2026-08-27T05:20:22Z) - From Numbers to Judgment: Specialist LLM Agents and Reinforcement Learning for European Listed Real Estate [0.0]
金融分析における局所的数値演算と積分的判断がLLM専門化の同じ形態から得られるかを検討する。
欧州の上場不動産分析フレームワークを8人のレンズ・アライン・スペシャリストにマップする。
我々は、モデル、ソースエビデンス、タスク命令、出力スキーマ、およびスコアリングを保ちながら、モノリシックとスペシャリストが分解したプロンプトのフロンティアLLMを比較した。
論文 参考訳(メタデータ) (2026-08-11T19:42:15Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳(メタデータ) (2026-06-03T17:06:49Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳(メタデータ) (2026-04-08T23:32:06Z) - Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。
本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
論文 参考訳(メタデータ) (2026-01-17T19:47:55Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳(メタデータ) (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。