論文の概要: Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case
- arxiv url: http://arxiv.org/abs/2607.26780v1
- Date: Wed, 29 Jul 2026 11:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.651138
- Title: Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case
- Title(参考訳): 2段階検証による生成情報抽出の強化:製品属性のユースケース
- Authors: Yi-Sheng Hsu, Nermeen Abou Baker, Uwe Handmann,
- Abstract要約: 大規模言語モデル(LLM)は、テキストを処理および生成することができる。
LLMの強力な一般化能力は、ラベル付きデータに制限のある領域を約束する。
生成IEを製品ドメインに適用し、効率性、一般化可能性、データプライバシの制約に明示的に対処する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of large language models (LLMs) to process and generate text has introduced potential for applications in information extraction (IE). While it's debated whether LLMs outperform smaller fine-tuned models for classification tasks, their strong generalization capability makes them promising for domains with limited labeled data available for fine-tuning. This advantage is particularly relevant for the emerging application of the digital product passport (DPP), where the problem space is broad but domain-specific data remains scarce. Motivated by this use case, we apply generative IE to the product domain, explicitly addressing efficiency, generalizability, and data privacy constraints. We propose a two-step validation method that integrates a PLM block into the generative IE pipeline and thereby leverages LLMs' correction capability. We discover that such a validation task enhances LLM performance, particularly on the extraction of weakly expressed, low-salience entities that appear sparsely throughout the text. For certain entities, the performance of mid-size models can even reach levels comparable to larger models, and the improvement of first-step PLM predictions also enhance the final LLM output. Nevertheless, the effects on the smallest open-source LLMs (e.g., Llama-3.2 3B) is limited. Based on the findings, we develop a demo application for product information extraction that utilizes locally deployed LLMs, targeting further adaptations to real-world DPP use cases.
- Abstract(参考訳): 大規模言語モデル(LLM)によるテキストの処理と生成の能力は、情報抽出(IE)の応用の可能性をもたらした。
LLMが分類タスクのより小さな微調整モデルより優れているかどうかは議論されているが、その強力な一般化能力により、ラベル付きデータが限定されたドメインで微調整が可能であることを約束している。
この利点は、問題空間が広く、ドメイン固有のデータが不足しているデジタル製品パスポート(DPP)の出現に特に関係している。
このユースケースに動機付けられて、生成IEを製品ドメインに適用し、効率性、一般化可能性、データプライバシの制約に明示的に対処します。
本稿では, PLMブロックを生成IEパイプラインに統合し, LLMの補正機能を活用する2段階検証手法を提案する。
このような検証タスクはLLMの性能を高めること、特にテキスト全体を通してわずかに現れる弱い表現された低セレンスなエンティティの抽出に有効であることがわかった。
特定のエンティティに対して、中規模モデルの性能はより大きなモデルに匹敵するレベルにまで達し、第1ステップのPLM予測の改善により最終LCM出力も向上する。
それでも、最小のオープンソースLCM(例えば、Llama-3.2 3B)への影響は限られている。
そこで本研究では,実世界のDPP利用事例へのさらなる適応を目的とした,ローカルにデプロイされたLCMを利用した製品情報抽出のデモアプリケーションを開発した。
関連論文リスト
- LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳(メタデータ) (2024-03-27T08:57:21Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。