論文の概要: Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction

• arxiv url: http://arxiv.org/abs/2609.15706v2
• Date: Sat, 19 Sep 2026 19:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 03:38:27.353361
• Title: Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction
• Title（参考訳）: 精度を超えて:テンプレート文書抽出における視覚言語モデルのロバスト性、コスト、ガバナンスのトレードオフ
• Abstract要約: ヴィジュアル言語モデル(VLM)は、ビジネス文書から構造化されたフィールドを抽出するためにますます用いられる。 ほとんどの評価では、クリーンなベンチマークの正確さを報告し、与えられたタスクの複雑さに対するアプローチを選択する実践者にはほとんどガイダンスを提供しない。 このギャップを計測地上調査とオープンソースリリースで解決する。
• 参考スコア（独自算出の注目度）: 0.8748252151298775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly used to extract structured fields from business documents, yet most evaluations report accuracy on clean benchmarks and offer little guidance to practitioners choosing an approach for a given task complexity. We address this gap with a measurement-grounded study and an open-source release. Across eleven systems (three commercial, two reasoning, five open-source VLMs in pretrained and fine-tuned form, and a non-LLM OCR->regex floor) scored on a 750-document held-out pool of synthetic checks, fine-tuning on 3K samples lifts the best open-source VLMs above F1 0.98-above every zero-shot commercial system on this task-while GPT-5 leads the commercial pool on F1 and Claude Sonnet 4.5 collapses on Date. To turn these measurements into actionable choices, we introduce a practitioner-oriented selection framework that maps a task profile (quality, latency, governance, volume) to a recommended approach via filtering and total-cost minimization, illustrated on a hypothetical mid-volume document-extraction scenario.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、ビジネス文書から構造化されたフィールドを抽出するためにますます使われていますが、ほとんどの評価では、クリーンベンチマークの正確さを報告し、与えられたタスクの複雑さに対するアプローチを選択する実践者にはほとんどガイダンスを提供していません。 このギャップを計測地上調査とオープンソースリリースで解決する。 11のシステム(3つの商用、2つの理由付け、2つのオープンソースVLMの事前訓練、微調整、非LLM OCR->Regexフロア)のうち750の文書保持プールにスコア付けされた3Kサンプルの微調整は、F1 0.98の上の最高のオープンソースVLMを持ち上げ、GPT-5はF1の商用プールとClaude Sonnet 4.5の商用プールをDateに導く。 これらの測定を実行可能な選択に変換するために,本研究では,タスクプロファイル(品質,レイテンシ,ガバナンス,ボリューム)を,仮説上の中間巻ドキュメント抽出シナリオに記述したフィルタリングと総コスト最小化による推奨アプローチにマッピングする,実践者指向の選択フレームワークを導入する。

関連論文リスト

• Free-Text Evaluation of LLMs for 5G Domain Knowledge and Fault Analysis using LLM-as-Judge [46.547776251310694]
  本稿では,5G領域の理解とフォールト解析を自由テキスト生成形式で評価する。 自由テキスト5Gドメイン知識と故障解析タスクに基づいて、3つの軽量LCM(Claude-Haiku-4.5, GPT-5.4-Mini, Gemini-3.1-Flash-Lite)を評価した。
  論文  参考訳（メタデータ） (2026-08-21T12:09:51Z)
• Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models [7.176656402971074]
  最小限の監督で高精度な多型VIEのための分類誘導型大規模視覚言語モデル(LVLM)を提案する。 このフレームワークは、オフィス自動化における複雑なドキュメント理解のための効率的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2026-07-22T03:27:50Z)
• What Matters for Grocery Product Retrieval with Open Source Vision Language Models [0.0]
  本稿では,GroceryVision Challenge の MPR タスクにおいて,190個のオープンソース VLM のゼロショット評価を行った。 生のWebスクレイプからフィルタリングデータセットへの切り替えは、最大16.6%の精度向上をもたらす。 最先端モデルは94.5%のRecall@5を達成するが、Recall@1では17.5%の低下を被り、対照的な埋め込みはクラスタカテゴリを効果的に活用するが、視覚的に類似したSKUをランク付けすることができないことが明らかになった。
  論文  参考訳（メタデータ） (2026-05-18T08:20:13Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Crossing Domains without Labels: Distant Supervision for Term Extraction [41.886337761732456]
  現在の最先端の手法は、高価な人間のアノテーションを必要とし、ドメイン転送に苦労する。 7つのドメインにまたがるベンチマークを導入し、文書レベルとコーパスレベルの両方のパフォーマンス評価を可能にした。 提案手法は,従来の5/7ドメインのアプローチよりも平均10ポイント向上した。
  論文  参考訳（メタデータ） (2025-10-08T10:02:40Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• MLLM-Selector: Necessity and Diversity-driven High-Value Data Selection for Enhanced Visual Instruction Tuning [69.7347209018861]
  視覚的インストラクションのチューニングに有用なデータを自動的に識別するMLLM-Selectorを提案する。 モデル性能を向上させるために,VITデータプールの各サンプルの必要なスコアを算出し,サンプルのピボットを同定する。 以上の結果から,データ選択における必要条件と多様性の混合の重要性が指摘され,MLLMセレクタの創出につながった。
  論文  参考訳（メタデータ） (2025-03-26T12:42:37Z)
• Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation [56.49084589053732]
  VLM(Vision-Language Models)は、様々なアプリケーションで成功を収めてきたが、関連性判断を支援する可能性はまだ不明である。 本稿では,CLIP,LLaVA,GPT-4Vを含むVLMの関連性評価機能について,ゼロショット方式でマルチメディアコンテンツ作成に適した大規模テキスト分割ホック検索タスクで評価する。
  論文  参考訳（メタデータ） (2024-08-02T16:15:25Z)
• Large Language Model-guided Document Selection [23.673690115025913]
  大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。 近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。 拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
  論文  参考訳（メタデータ） (2024-06-07T04:52:46Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [51.87391234815163]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• Robust Layout-aware IE for Visually Rich Documents with Pre-trained Language Models [23.42593796135709]
  視覚的にリッチな文書(VRD)からの情報抽出の問題について検討する。 ビジネス文書のテキスト情報と視覚情報の両方を効率的に符号化するために,大規模な事前学習言語モデルとグラフニューラルネットワークのパワーを組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-22T06:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。