論文の概要: GAIDA: Generative AI for Human-in-the-Loop Document Annotation
- arxiv url: http://arxiv.org/abs/2610.26362v1
- Date: Mon, 19 Oct 2026 13:22:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 18:11:37.928461
- Title: GAIDA: Generative AI for Human-in-the-Loop Document Annotation
- Title（参考訳）: GAIDA:ヒューマン・イン・ザ・ループドキュメンテーションアノテーションのためのジェネレーティブAI
- Abstract要約: 我々は,OCRに基づく抽出,セマンティック事前アノテーション,人間による検証を単一の編集可能なワークフローで統合したモジュール型ヒューマン・イン・ザ・ループアーキテクチャを提案する。
textbfAraReceiptは、25のキー情報クラスでラベル付けされた100個のアラビア文字のレシート画像の、手動で注釈付きデータセットである。
- 参考スコア（独自算出の注目度）: 0.9030828136788656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Document annotation is a fundamental yet labor-intensive step in building document information extraction systems. While Optical Character Recognition (OCR) and Large Language Models (LLMs) can automate parts of this process, we argue that annotation systems should be judged not by how completely they remove human effort, but by how effectively they redirect it toward review and correction. We propose a modular human-in-the-loop architecture that integrates OCR-based extraction, LLM-based semantic pre-annotation, and human validation in a single editable workflow, and present \textbf{GAIDA}, a research prototype serving as its reference implementation. GAIDA supports interchangeable OCR engines, LLM backends, and prompt configurations, and enables stage-specific measurement of annotation effort. In an initial single-annotator, stage-specific study on the FUNSD scanned-form and WildReceipt retail-receipt benchmarks, OCR assistance reduced region-creation and transcription time by up to \textbf{80.9\%}, and reviewing LLM pre-annotations reduced semantic-labeling time by up to \textbf{73.7\%}, despite imperfect pre-annotations of 78.86\% and 86.98\% Micro F1 on FUNSD and WildReceipt, respectively. Finally, we reuse the same implementation, adapting only OCR and prompt configuration, to build and openly release \textbf{AraReceipt}, a manually annotated dataset of 100 Arabic receipt images labeled with 25 key-information classes. The results indicate that imperfect automated outputs provide practical value when presented as editable suggestions under human control.
- Abstract（参考訳）: 文書アノテーションは、文書情報抽出システムを構築するための基本的なステップであるが、労働集約的なステップである。
オプティカル文字認識(OCR)とLarge Language Models(LLM)は、このプロセスの一部を自動化することができるが、アノテーションシステムは、どのように人間の努力を完全に除去するかではなく、いかに効果的にレビューや修正に向けてリダイレクトするかによって判断されるべきである。
我々は,OCRに基づく抽出,LLMに基づくセマンティック事前アノテーション,人間による検証を単一の編集可能なワークフローに統合したモジュール型Human-in-the-loopアーキテクチャを提案し,そのリファレンス実装として機能する研究プロトタイプであるtextbf{GAIDA} を提示する。
GAIDAは交換可能なOCRエンジン、LLMバックエンド、プロンプト構成をサポートし、ステージ固有のアノテーションの取り組みの測定を可能にする。
最初のシングルアノテータでは、FUNSDスキャンされたフォーマットとWildReceiptの小売レセプトのベンチマークに関するステージ固有の研究で、OCRアシストにより、FUNSDとWildReceiptでそれぞれ78.86\%と86.98\%のマイクロF1が不完全なプリアノテートにもかかわらず、地域作成と転写の時間を \textbf{80.9\%} まで短縮し、LCMプリアノテータのセマンティックラベリング時間を \textbf{73.7\%} まで短縮した。
最後に、OCRとプロンプト設定のみを適用して同じ実装を再利用し、25のキー情報クラスをラベル付けした100個のアラビア文字のレシートイメージを手動でアノテートしたデータセットであるtextbf{AraReceipt} をオープンにリリースする。
その結果,不完全な自動出力は人間の制御下で編集可能な提案として提示された場合に実用的価値をもたらすことがわかった。
関連論文リスト
- DocAnnot -- Accelerating the Creation of Key Information Extraction Datasets with GenAI-Powered Auto-annotation [1.934036432603761]
KIEデータセット生成を大幅に高速化するフレームワークであるDocAnnotを紹介する。
DocAnnotはラベル値抽出にLVLM(Large Vision Language Model)、テキスト/バウンディングボックス検出にOCR、新しいSpatially Informed Contextual Matching (SICM)アルゴリズムを利用する。
我々はCORDベンチマークとSROIEベンチマークのフレームワークを評価し、それぞれ0.679と0.846のF1スコアでアノテーションを自動生成できることを実証した。
論文 参考訳（メタデータ） (2026-05-08T07:43:02Z) - Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。
Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
論文 参考訳（メタデータ） (2026-05-06T06:17:41Z) - LLM-based Schema-Guided Extraction and Validation of Missing-Person Intelligence from Heterogeneous Data Sources [0.7734726150561088]
行方不明者や子どもの安全に関する調査は、構造化フォーム、掲示板スタイルのポスター、物語ウェブプロファイルなど、異種ケース文書に依存している。
レイアウト、用語、データ品質の変化は、急激なトリアージ、大規模分析、探索計画を妨げる。
本稿では、AIによる解析および正規化パイプラインであるGuardian Packを紹介し、マルチソース調査文書を統一されたスキーマ準拠の表現に変換する。
論文 参考訳（メタデータ） (2026-04-08T01:35:56Z) - Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation [3.182130576938461]
LLMに基づくセマンティックロールラベルラを用いたFrameNetのようなセマンティックアノテーションの半自動化の評価について報告する。
その結果,ハイブリッドな半自動アノテーション設定は,人間のみの設定と比較して,フレームの多様性と類似したアノテーションカバレッジを増大させることがわかった。
論文 参考訳（メタデータ） (2025-10-29T19:13:48Z) - Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems [0.0]
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを使用し、スペル修正に使用される生成言語モデルと、議論的要素を識別およびマークするために訓練されたエンコーダベースのトークン分類器を用いています。
論文 参考訳（メタデータ） (2025-05-28T18:39:56Z) - Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。
以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
論文 参考訳（メタデータ） (2025-04-07T16:05:52Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - CREPE: Coordinate-Aware End-to-End Document Parser [13.530212337717515]
視覚文書理解のためのOCRフリーシーケンス生成モデル(VDU)を定式化する。
本モデルは,文書画像からテキストを解析するだけでなく,マルチヘッドアーキテクチャに基づくテキストの空間座標も抽出する。
コーディネート・アウェア・エンド・ツー・エンドドキュメンテーション(Coordinate-aware End-to-end Document)と呼ばれる。
CREPEでは,OCRテキスト用の特別なトークンを導入することで,これらの機能を独自に統合する。
論文 参考訳（メタデータ） (2024-05-01T00:30:13Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。