論文の概要: Information Extraction from Electricity Invoices with General-Purpose Large Language Models
- arxiv url: http://arxiv.org/abs/2604.25927v1
- Date: Wed, 01 Apr 2026 12:53:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:14.226014
- Title: Information Extraction from Electricity Invoices with General-Purpose Large Language Models
- Title(参考訳): 汎用大言語モデルを用いた電力請求書からの情報抽出
- Authors: Javier Gómez, Javier Sánchez,
- Abstract要約: 本研究では,タスク固有の微調整を伴わずにスペイン電力請求書から構造化情報を抽出する汎用大規模言語モデルの有効性を評価する。
我々は、19のパラメータ構成と6つのプロンプト戦略で、アーキテクチャ的に異なる2つのモデル、Gemini 1.5 ProとMistral-smallをベンチマークした。
- 参考スコア(独自算出の注目度): 0.5729426778193398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information extraction from semi-structured business documents remains a critical challenge for enterprise management. This study evaluates the capability of general-purpose Large Language Models to extract structured information from Spanish electricity invoices without task-specific fine-tuning. Using a subset of the IDSEM dataset, we benchmark two architecturally distinct models, Gemini 1.5 Pro and Mistral-small, across 19 parameter configurations and 6 prompting strategies. Our experimental framework treats prompt engineering as the primary experimental variable, comparing zero-shot baselines against increasingly sophisticated few-shot approaches and iterative extraction strategies. Results demonstrate that prompt quality dominates over hyperparameter tuning: the F1-score variation across all parameter configurations is marginal, while the gap between zero-shot and the best few-shot strategy exceeds 19 percentage points. The best configuration (few-shot with cross-validation) achieves an F1-score of 97.61% for Gemini and 96.11% for Mistral-small, with document template structure emerging as the primary determinant of extraction difficulty. These findings establish that prompt design is the critical lever for maximizing extraction fidelity in LLM-based document processing, thereby providing an empirical framework for integrating general-purpose LLMs into business document automation.
- Abstract(参考訳): 半構造化ビジネス文書からの情報抽出は企業経営にとって重要な課題である。
本研究では,タスク固有の微調整を伴わずにスペイン電力請求書から構造化情報を抽出する汎用大規模言語モデルの有効性を評価する。
IDSEMデータセットのサブセットを使用して、19のパラメータ設定と6つのプロンプト戦略で、アーキテクチャ的に異なる2つのモデルであるGemini 1.5 ProとMistral-smallをベンチマークする。
実験フレームワークは, プロンプトエンジニアリングを実験変数として扱い, ゼロショットベースラインと高度化している少数ショットアプローチと反復抽出戦略を比較した。
その結果,全パラメータ構成におけるF1スコア変動は極端であり,ゼロショットとベストショット戦略の差は19ポイントを超えていることがわかった。
最高の構成(クロスバリデーション付きファウショット)は、ジェミニで97.61%、ミストラル小で96.11%のF1スコアを達成する。
これらの結果から,LLMに基づく文書処理における抽出忠実度を最大化する上で,迅速な設計が重要なレバーであることが確認され,汎用LLMをビジネス文書自動化に統合するための実証的枠組みが提供される。
関連論文リスト
- DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。
ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
論文 参考訳(メタデータ) (2026-04-14T14:39:26Z) - Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。
我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
論文 参考訳(メタデータ) (2026-01-27T08:42:54Z) - Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis [0.2555802789878571]
大規模言語モデルを用いた規制文書からの情報抽出は、性能と計算資源間の重要なトレードオフを示す。
実験的な展開ガイダンスを提供するために,水力ライセンス文書上で7つのオープンウェイトモデル(0.6B-70Bパラメータ)を評価した。
論文 参考訳(メタデータ) (2025-11-14T19:23:25Z) - Adapting General-Purpose Foundation Models for X-ray Ptychography in Low-Data Regimes [8.748610895973075]
PtychoBenchはptychographic analysisの新しいベンチマークである。
我々は、SFT(Supervised Fine-Tuning)とICL(In-Context Learning)の2つの専門化戦略を比較した。
その結果,最適な特殊化経路はタスク依存であることが判明した。
論文 参考訳(メタデータ) (2025-11-04T11:43:05Z) - Hybrid OCR-LLM Framework for Enterprise-Scale Document Information Extraction Under Copy-heavy Task [11.672798725644121]
この作業は、OCRエンジンとLLM(Large Language Models)を戦略的に組み合わせて、反復的な文書抽出タスクに固有の正確性と効率のトレードオフを最適化する。
3つの抽出パラダイム(ダイレクト、リプレース、テーブルベース)にまたがる25のコンフィギュレーションを、4つのフォーマットにまたがるIDドキュメント上で実装し、評価する。
論文 参考訳(メタデータ) (2025-10-11T09:40:34Z) - A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models [8.888403936226185]
バイオメディカルリレーション抽出タスクの多種多様なサンプリングにおいて,OpenAI LLMの性能パターンについて検討した。
エンド・ツー・エンドのゼロショットバイオメディカルREタスクにおけるGPT-4, o1, GPT-OSSの性能について検討し, 比較を行った。
論文 参考訳(メタデータ) (2025-04-05T07:08:54Z) - MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。
既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。
そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
論文 参考訳(メタデータ) (2024-12-06T18:14:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。