論文の概要: Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation
- arxiv url: http://arxiv.org/abs/2605.25781v1
- Date: Mon, 25 May 2026 12:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.036162
- Title: Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation
- Title(参考訳): Double Triangle Annotation: 高精度歴史文書アノテーションのためのスケーラブルなHuman-in-the-Loopフレームワーク
- Authors: Yi Ren,
- Abstract要約: ダブルトライアングルフレームワークは、高い精度の出力を確保しながら、ほとんどのアノテーション作業を自動化する。
1887-1906年のフランスの医療ディレクトリのコーパスであるガイドズ・ローゼンヴァルトでは、このフレームワークは最後のワードエラー率0.003を達成している。
スケールに適用されたモデルコンセンサスオートアクセプションは、13,595フィールドの85%以上である。
- 参考スコア(独自算出の注目度): 9.0025190634417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating structured-information extraction from historical documents at scale requires high-precision ground-truth annotations, yet traditional manual labeling is expensive and fully automated pipelines built on large language models are prone to hallucination. We propose Double Triangle Annotation, a two-layer human-in-the-loop framework that leverages cross-model consensus to automate the majority of annotation work while ensuring high-precision outputs. In the first layer, two architecturally independent Multimodal Large Language Models annotate each document in parallel; when they agree, the label is auto-accepted, and disagreements are routed to a human jury. A second layer cross-checks two such systems against each other, escalating residual conflicts to a domain expert. The framework rests on a single assumption -- error independence between models -- requires no distributional priors or task-specific calibration, and becomes more autonomous as model capability improves. On the Guides Rosenwald, a corpus of French medical directories spanning 1887-1906, the framework achieves a final Word Error Rate of 0.003. Applied at scale, model consensus auto-accepts over 85% of 13,595 fields. We release the resulting benchmark -- the first structured-extraction ground truth for the Rosenwald Guides -- to support future work on historical document processing.
- Abstract(参考訳): 歴史的文書からの構造化情報抽出を大規模に評価するには,高精度な接地構文アノテーションが必要であるが,従来の手動ラベリングは高価であり,大規模言語モデル上に構築された完全自動化パイプラインは幻覚の傾向にある。
提案するDouble Triangle Annotationは,クロスモデルコンセンサスを利用して,高精度な出力を確保しつつ,ほとんどのアノテーション作業を自動化する2層ヒューマン・イン・ザ・ループ・フレームワークである。
第1層では、アーキテクチャ的に独立した2つのマルチモーダル大言語モデルが、それぞれの文書を並列に注釈付けする。
第2のレイヤは2つのシステムを相互に相互にチェックし、ドメインの専門家に残余の衝突をエスカレートする。
このフレームワークは、モデル間のエラー独立性という単一の前提に基づいており、分散した事前設定やタスク固有のキャリブレーションを必要としないため、モデル能力が改善されるにつれて、より自律的になる。
1887-1906年のフランスの医療ディレクトリのコーパスであるガイドズ・ローゼンヴァルトでは、このフレームワークは最後のワードエラー率0.003を達成している。
大規模に適用されたモデルコンセンサスは、13,595フィールドの85%以上を自動受け入れる。
得られたベンチマーク -- Rosenwald Guidesの最初の構造化された抽出済みの真実 -- は、過去のドキュメント処理に関する将来の作業をサポートするためにリリースされます。
関連論文リスト
- DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。
軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。
6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
論文 参考訳(メタデータ) (2026-05-09T11:12:59Z) - Training-Free Acceleration for Document Parsing Vision-Language Model with Hierarchical Speculative Decoding [102.88996030431662]
本稿では,文書解析タスクの学習自由かつ高効率な高速化手法を提案する。
投機的復号化にインスパイアされた私たちは、将来のトークンのバッチを予測するために、ドラフトモデルとして軽量な文書解析パイプラインを使用します。
汎用OmniDocBenchに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2026-02-13T14:22:10Z) - Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents [10.682600460180174]
長期文書トピックセグメンテーションは,情報検索や文書理解において重要な役割を担っている。
従来の識別モデルは固定ウィンドウによって制約されており、文書レベルの意味論をモデル化することはできない。
生成可能な大言語モデルは段落境界を出力することができるが、推論は高価であり、長い入力はサポートし難い。
論文 参考訳(メタデータ) (2025-12-23T16:16:51Z) - DOCR-Inspector: Fine-Grained and Automated Evaluation of Document Parsing with VLM [35.910677096654574]
文書解析は、構造化されていないPDF画像を半構造化データに変換することを目的としており、多様な領域における情報のデジタル化と活用を容易にする。
一般的なプラクティスは、しばしば標準ベンチマークで最高のパフォーマンスモデルを選択する。
本稿では,文書解析評価をきめ細かな誤り検出と解析として形式化するDOCR-Inspectorを紹介する。
論文 参考訳(メタデータ) (2025-12-11T13:16:33Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳(メタデータ) (2022-04-27T03:20:07Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Self-supervised Deep Reconstruction of Mixed Strip-shredded Text
Documents [63.41717168981103]
本研究は,従来の1ページ再構成の深層学習手法を,より現実的で複雑なシナリオに拡張する。
本手法では, 整合性評価を2クラス(無効または無効)パターン認識問題としてモデル化する。
提案手法は複雑なシナリオにおいて競合する手法よりも優れ、90%以上の精度で精度が向上する。
論文 参考訳(メタデータ) (2020-07-01T21:48:05Z) - Pre-training for Abstractive Document Summarization by Reinstating
Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。
2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文 参考訳(メタデータ) (2020-04-04T05:06:26Z) - Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised
Deep Asymmetric Metric Learning [62.34197797857823]
細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。
本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。
提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
論文 参考訳(メタデータ) (2020-03-23T03:22:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。