論文の概要: Effective and Efficient Schema-aware Information Extraction Using On-Device Large Language Models

• arxiv url: http://arxiv.org/abs/2505.14992v1
• Date: Wed, 21 May 2025 00:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.800347
• Title: Effective and Efficient Schema-aware Information Extraction Using On-Device Large Language Models
• Title（参考訳）: オンデバイス大規模言語モデルを用いた効率的かつ効率的なスキーマ認識情報抽出
• Authors: Zhihao Wen, Sheng Liang, Yaxiong Wu, Yongyue Zhang, Yong Liu,
• Abstract要約: 非構造化テキストを構造化知識に変換することにより、自然言語処理(NLP)において情報抽出が重要な役割を果たす。 本稿では,インクリメンタルキャッシングを用いた2段階情報抽出手法Dual-LoRAを提案する。 特に、DLISCは、指定されたクエリに最も関連性の高いスキーマを検索するための識別LoRAモジュールと、以前選択されたスキーマに基づいて情報抽出を行う抽出LoRAモジュールを採用する。
• 参考スコア（独自算出の注目度）: 12.197549988089161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information extraction (IE) plays a crucial role in natural language processing (NLP) by converting unstructured text into structured knowledge. Deploying computationally intensive large language models (LLMs) on resource-constrained devices for information extraction is challenging, particularly due to issues like hallucinations, limited context length, and high latency-especially when handling diverse extraction schemas. To address these challenges, we propose a two-stage information extraction approach adapted for on-device LLMs, called Dual-LoRA with Incremental Schema Caching (DLISC), which enhances both schema identification and schema-aware extraction in terms of effectiveness and efficiency. In particular, DLISC adopts an Identification LoRA module for retrieving the most relevant schemas to a given query, and an Extraction LoRA module for performing information extraction based on the previously selected schemas. To accelerate extraction inference, Incremental Schema Caching is incorporated to reduce redundant computation, substantially improving efficiency. Extensive experiments across multiple information extraction datasets demonstrate notable improvements in both effectiveness and efficiency.
• Abstract（参考訳）: 情報抽出(IE)は、構造化されていないテキストを構造化知識に変換することにより、自然言語処理(NLP)において重要な役割を果たす。 情報抽出のためにリソース制約のあるデバイスに計算集約的な大規模言語モデル(LLM)をデプロイすることは、特に幻覚、コンテキスト長の制限、特に多様な抽出スキーマを扱う場合のレイテンシの高さといった問題により、難しい。 これらの課題に対処するため,Dual-LoRA with Incremental Schema Caching (DLISC) と呼ばれる2段階の情報抽出手法を提案する。 特に、DLISCは、指定されたクエリに最も関連性の高いスキーマを検索するための識別LoRAモジュールと、以前選択されたスキーマに基づいて情報抽出を行う抽出LoRAモジュールを採用する。 抽出推論を高速化するため、インクリメンタルスキーマキャッシングを導入して冗長計算を低減し、効率を大幅に向上する。 複数の情報抽出データセットにわたる大規模な実験は、有効性と効率の両方において顕著な改善を示している。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning [4.762390044282733]
  大規模言語モデル(LLM)は、様々な複雑なコード生成タスクにおいて、その例外的な性能を実証している。 このような要求を緩和するために、モデルプルーニング技術は、パラメータが著しく少ないよりコンパクトなモデルを作成するために使用される。 本研究では,非構造化プルーニングによる符号化特化サブモデルの効率的な導出について検討する。
  論文  参考訳（メタデータ） (2025-01-09T14:00:01Z)
• FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance [9.782362715017596]
  視覚トークン列の長さを削減するために設計された,シンプルで効果的なプラグアンドプレイモジュールであるFOLDERを紹介する。 我々は、異なる還元戦略によってもたらされた情報損失を分析し、視覚的冗長性を取り除きながら鍵情報を保存するFOLDERを開発した。 FOLDERは、オリジナルのモデルと同等またはそれ以上のパフォーマンスを達成すると同時に、最大70%のビジュアルトークンを削除することで、複雑さを劇的に低減する。
  論文  参考訳（メタデータ） (2025-01-05T03:28:45Z)
• Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Information Extraction [14.982446379660633]
  大規模言語モデル(LLM)に関する既存の研究は、多段階計画により情報抽出タスクを解くことができることを示している。 複雑な抽出タスクを分解して段階的に抽出することで,LLMの性能を効果的に向上させることができる。 本稿では,LLMに基づく情報抽出のための2段階多段階手法を提案し,多段階計画を実行するためにRLフレームワークを採用する。
  論文  参考訳（メタデータ） (2024-06-17T12:11:01Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。