論文の概要: DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
- arxiv url: http://arxiv.org/abs/2507.05997v1
- Date: Tue, 08 Jul 2025 13:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-09 16:34:38.149968
- Title: DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
- Title（参考訳）: DocIE@XLLM25:完全合成デモを用いた情報抽出のためのインコンテキスト学習
- Authors: Nicholas Popovič, Ashish Kangen, Tim Schopf, Michael Färber,
- Abstract要約: 本稿では,合成データ生成とテキスト内学習のためのLLMに基づく完全自動パイプラインを提案する。
約59k$エンティティと30k$リレーショナルトリプルを備えた5k$以上のウィキペディア抽象の合成データセットを作成します。
現状の大規模言語モデルにおいても,文書レベルでのコンテキスト内結合エンティティと関係抽出は依然として困難な課題であることがわかった。
- 参考スコア（独自算出の注目度）: 8.612181075294327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large, high-quality annotated corpora remain scarce in document-level entity and relation extraction in zero-shot or few-shot settings. In this paper, we present a fully automatic, LLM-based pipeline for synthetic data generation and in-context learning for document-level entity and relation extraction. In contrast to existing approaches that rely on manually annotated demonstrations or direct zero-shot inference, our method combines synthetic data generation with retrieval-based in-context learning, using a reasoning-optimized language model. This allows us to build a high-quality demonstration database without manual annotation and to dynamically retrieve relevant examples at inference time. Based on our approach we produce a synthetic dataset of over $5k$ Wikipedia abstracts with approximately $59k$ entities and $30k$ relation triples. Finally, we evaluate in-context learning performance on the DocIE shared task, extracting entities and relations from long documents in a zero-shot setting. We find that in-context joint entity and relation extraction at document-level remains a challenging task, even for state-of-the-art large language models.
- Abstract（参考訳）: 大規模で高品質な注釈付きコーパスは、ゼロショットや少数ショットの設定で文書レベルのエンティティや関係抽出に乏しいままである。
本稿では,文書レベルのエンティティと関係抽出のための合成データ生成とコンテキスト内学習のための,完全に自動化されたLLMベースのパイプラインを提案する。
提案手法は,手動によるアノテートデモや直接ゼロショット推論に依存する既存の手法とは対照的に,合成データ生成と検索に基づくテキスト内学習を,推論最適化言語モデルを用いて組み合わせる。
これにより、手動のアノテーションを使わずに高品質なデモデータベースを構築し、推論時に関連するサンプルを動的に検索することが可能になる。
このアプローチに基づいて、約59k$エンティティと30k$リレーショントリプルを備えた、5k$以上のウィキペディア抽象の合成データセットを作成しました。
最後に、DocIE共有タスク上でのコンテキスト内学習性能を評価し、ゼロショット設定で長い文書からエンティティと関係を抽出する。
現状の大規模言語モデルにおいても,文書レベルでのコンテキスト内結合エンティティと関係抽出は依然として困難な課題であることがわかった。
関連論文リスト
- Bootstrap Your Own Context Length [74.61148597039248]
長文言語モデルを学習するためのブートストラップ手法を提案する。
提案したデータ合成ワークフローは、短いコンテキスト言語モデル、テキスト検索、文書収集のみを必要とする。
我々は,オープンソースのLlama-3ファミリを用いて実験を行い,最大100万トークンまでコンテキスト長を拡張できることを実証した。
論文 参考訳（メタデータ） (2024-12-25T10:08:54Z) - Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。
合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。
我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
論文 参考訳（メタデータ） (2024-10-29T17:55:00Z) - Consistency Guided Knowledge Retrieval and Denoising in LLMs for
Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。
既存の手法は、かなりの量の完全なラベル付きデータに依存している。
ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
論文 参考訳（メタデータ） (2024-01-24T17:04:28Z) - Semi-automatic Data Enhancement for Document-Level Relation Extraction
with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。
本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。
DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-11-13T13:10:44Z) - Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。
ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-17T09:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。