論文の概要: KhatianDoc: A Human-Verified Benchmark Diagnosing Multimodal LLM Failure on Bengali Legal Land Records
- arxiv url: http://arxiv.org/abs/2609.03597v1
- Date: Thu, 03 Sep 2026 09:46:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.006763
- Title: KhatianDoc: A Human-Verified Benchmark Diagnosing Multimodal LLM Failure on Bengali Legal Land Records
- Title（参考訳）: KhatianDoc: ベンガルの法定土地記録上のマルチモーダルLLM障害を人間検証ベンチマークで診断する
- Abstract要約: バングラデシュの土地所有権は、Unicodeグリフ、メインストリームフォント、OCRパイプラインやトークンーザのない、ベース16の位置割当システムで記録されている。
KhatianDocはバングラデシュのムンシガンジのヴミ(土地)オフィスから107のリアルRS Khatianレコードから構築されたベンチマークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Land ownership in Bangladesh is recorded in Ana-Ganda-Kora-Kranti-Til, a base-16 positional fraction system with dedicated Unicode glyphs, no mainstream font, and no coverage in any OCR pipeline or tokenizer. The handwritten records that carry these fractions, RS Khatians, are the authoritative title record for millions of parcels and a frequent subject of civil litigation, yet no benchmark has asked whether a machine can read one. We introduce KhatianDoc, a four-task benchmark built from 107 real RS Khatian records from the Vumi (land) Office of Munshiganj, Bangladesh: symbol recognition, base-16-to-decimal conversion, structured field extraction, and legal document question answering over 1,634 QA pairs. Ground truth was transcribed by hand, verified by a land-law practitioner to full agreement, and anonymized through positional tokens that keep the referential distinctions multi-hop questions depend on. We evaluate six multimodal LLMs (8B to 72B+, open and closed) under a fixed zero-shot protocol. Five QA categories, 39.3% of our stratified set, return zero correct answers from every model; on the arithmetic task, every model that emits a number does worse than a constant-mean baseline, with exact- and near-match scores coinciding: decorrelation, not approximation. Auditing our own metrics surfaced two artifacts in opposite directions: we correct a refusal-scoring bug and report the fixed scores beside the originals, and flag an inflated metadata metric as an upper bound. KhatianDoc documents not a performance gap but the absence of a capability, with verified ground truth for future systems. Code and data, with a redacted image release, are publicly available.
- Abstract（参考訳）: バングラデシュの土地所有権はAna-Ganda-Kora-Kranti-Til(英語版)に記録されている。
RS Khatiansという手書きのレコードは、数百万パーセルの権威的なタイトルレコードであり、しばしば民事訴訟の対象となっているが、マシンがそれを読めるかどうかを問うベンチマークはない。
バングラデシュ・ムンシガンジュ州ムミ(英語版)のオフィス(英語版)から107個の実RSハティアンのレコードから構築された4タスクのベンチマークであるKhatianDocを紹介した:シンボル認識、ベース16から決定変換、構造化されたフィールド抽出、および1,634のQA対以上の法的文書質問である。
地上の真実は手書きで書き起こされ、土地所有者によって完全な合意が証明され、マルチホップ質問の参照区別を頼りにする位置トークンを通じて匿名化された。
固定ゼロショットプロトコルを用いて6つのマルチモーダルLCM(8Bから72B+,オープンおよびクローズド)を評価した。
階層化された集合の39.3%である5つのQAカテゴリは、すべてのモデルから正しい答えを返します。
独自のメトリクスを検査すると、2つのアーティファクトが反対方向に浮上した: 拒否するバグを訂正し、オリジナルの横に固定されたスコアを報告し、膨らませたメタデータメトリクスを上限としてフラグ付けする。
KhatianDocはパフォーマンスのギャップではなく、能力の欠如について文書化している。
コードとデータは、再フォーマットされたイメージリリースで公開されています。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents [0.12430801435092285]
GDP_pdfは、ドキュメントAI機能を直接測定するベンチマークである。
これは10分野の作業専門家によって書かれた質問文書対で構成されている。
100-itemベンチマークで17のフロンティアモデルの結果を報告する。
論文 参考訳（メタデータ） (2026-07-13T07:44:07Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents [0.9003228139607131]
文書解析システムは、住宅ローンの引受、財務報告、サプライチェーンのロジスティクス、臨床記録などの規制された領域にますます多く展開されている。
ほとんどの公開ベンチマークは、学術的なレイアウトや合成散文のアダプタを評価し、単一のOCRまたはマークダウンレベルの類似度スコアを報告している。
実際に規制された文書から構築された2トラックのベンチマークであるRealDocBenchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T15:41:34Z) - DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。
軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。
6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
論文 参考訳（メタデータ） (2026-05-09T11:12:59Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Different Strokes for Different Folks: Writer Identification for Historical Arabic Manuscripts [0.5599792629509229]
手書きのアラビア語写本はアラブ世界の知的・文化的遺産を保存している。
歴史的アラビア写本のムハラフデータセットを用いて,個々の線画像から著者の識別を評価する。
著者識別のための注意機構を備えた畳み込みニューラルネットワーク(CNN)モデルを提案する。
論文 参考訳（メタデータ） (2026-04-24T12:55:16Z) - PluriHop: Exhaustive, Recall-Sensitive QA over Distractor-Rich Corpora [0.0]
PluriHopWINDは、ドイツ語と英語の191の現実世界の風力産業レポートから構築された48のプルホップ質問の診断用多言語データセットである。
PluriHopWIND は他の一般的なデータセットよりも 8-40% の反復性を示し,その有効性を示す。
本稿では,RAGアーキテクチャであるPluriHopRAGを提案する。
論文 参考訳（メタデータ） (2025-10-16T07:22:58Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳（メタデータ） (2025-06-17T11:08:29Z) - Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。
我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2022-12-20T18:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。