論文の概要: QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations
- arxiv url: http://arxiv.org/abs/2609.35685v1
- Date: Mon, 28 Sep 2026 17:33:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:39:53.521194
- Title: QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations
- Title（参考訳）: QuanReview: オフライン, オーディショナブルな人間とLLMのアノテーションの再調整
- Abstract要約: QuanReviewは構造化スパンアノテーションを修正するためのオープンソースのシステムである。
同じドキュメント上の2つのアノテーションストリームを文字レベルで整列させ、明示的かつログ化されたポリシーによって曖昧なケースを解決し、候補のコンフリクトをブラウザベースのアジュディテーションインターフェースにルーティングする。
キャンペーンマネージャは、冗長性のある複数のアノテータに文書を割り当て、文書およびスパンレベルで合意を計算し、一様文書を自動マージし、修正されたレイヤを元のファイルフォーマットでエクスポートする。
- 参考スコア（独自算出の注目度）: 1.0581969462972212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured span annotations, such as quantities with their units, uncertainty modifiers, and event classes, are expensive to create and hard to keep trustworthy once language models enter the loop. We present QuanReview, an open-source system for auditing and correcting such annotation layers. QuanReview aligns two annotation streams over the same documents at character level, resolves unambiguous cases by an explicit and logged policy, and routes candidate conflicts to a browser-based adjudication interface where reviewers accept either side, build field-level hybrids, or flag items for re-annotation. A campaign manager assigns documents to multiple annotators with configurable redundancy, computes agreement at document and span level, auto-merges unanimous documents, and exports the corrected layer in the original file format, so that it can replace the original annotation files directly. Applied to a 4,457-record humanitarian benchmark and an LLM extraction stream, the system fully auto-merged 8% of documents, applied automatic policy decisions to a further 1,513 records, and concentrated human attention on 3,131 candidate conflicts, a mean of 5.4 per reviewed document.
- Abstract（参考訳）: 構造付きスパンアノテーション(単位の量、不確実性修飾子、イベントクラスなど)は作成に高価であり、言語モデルがループに入ると信頼できるものを維持するのが困難である。
このようなアノテーション層を監査・修正するためのオープンソースシステムであるQuanReviewを提示する。
QuanReviewは、同じドキュメント上の2つのアノテーションストリームを文字レベルで調整し、明示的でログされたポリシーによって曖昧なケースを解決し、候補のコンフリクトをブラウザベースの調整インターフェースにルーティングする。
キャンペーンマネージャは、設定可能な冗長性を持つ複数のアノテーションに文書を割り当て、文書およびスパンレベルで合意を計算し、一様文書を自動マージし、修正されたレイヤを元のファイルフォーマットでエクスポートし、元のアノテーションファイルを直接置き換える。
4,457件の人道的ベンチマークとLCM抽出ストリームに適用し、全文書の8%を自動でマージし、さらに1,513件の記録に自動的な政策決定を適用し、3,131件の対立(レビュー1件あたり平均5.4件)に注意を集中させた。
関連論文リスト
- ATIBA: Grounded Integrity and Quality Checking for Research Papers [1.3241176321860364]
ATIBAは、原稿に5つの基礎的整合性と品質チェックを実行するツールである。
LLMは判断のみを信頼し、判断する証拠を決して発明しない。
論文 参考訳（メタデータ） (2026-09-03T17:24:15Z) - HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。
信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。
プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
論文 参考訳（メタデータ） (2026-08-22T06:19:19Z) - Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization [1.1168121941015015]
Claim-Anchored Multi-Docment Summarization framework (CAMS)
Claim-Anchored Multi-Docment Summarization framework (CAMS)
論文 参考訳（メタデータ） (2026-06-22T22:39:08Z) - RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents [0.9003228139607131]
文書解析システムは、住宅ローンの引受、財務報告、サプライチェーンのロジスティクス、臨床記録などの規制された領域にますます多く展開されている。
ほとんどの公開ベンチマークは、学術的なレイアウトや合成散文のアダプタを評価し、単一のOCRまたはマークダウンレベルの類似度スコアを報告している。
実際に規制された文書から構築された2トラックのベンチマークであるRealDocBenchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T15:41:34Z) - Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。
また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
論文 参考訳（メタデータ） (2025-05-09T04:40:11Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - Contextual Document Embeddings [77.22328616983417]
本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。
第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。
第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
論文 参考訳（メタデータ） (2024-10-03T14:33:34Z) - Multilevel Text Alignment with Cross-Document Attention [59.76351805607481]
既存のアライメントメソッドは、1つの事前定義されたレベルで動作します。
本稿では,文書を文書間注目要素で表現するための階層的アテンションエンコーダを予め確立した新しい学習手法を提案する。
論文 参考訳（メタデータ） (2020-10-03T02:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。