論文の概要: Universal Information Extraction with Meta-Pretrained Self-Retrieval

• arxiv url: http://arxiv.org/abs/2306.10444v1
• Date: Sun, 18 Jun 2023 00:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 20:43:05.280123
• Title: Universal Information Extraction with Meta-Pretrained Self-Retrieval
• Title（参考訳）: メタ事前自己検索によるユニバーサル情報抽出
• Authors: Xin Cong. Bowen Yu, Mengcheng Fang, Tingwen Liu, Haiyang Yu, Zhongkai Hu, Fei Huang, Yongbin Li, Bin Wang
• Abstract要約: ユニバーサル情報抽出(Universal IE)は、テキストから構造までの一様生成方法で異なる抽出タスクを解くことを目的としている。 外部知識ベースから知識を取得することは、モデルがこの問題を克服するのに役立つかもしれないが、様々なIEタスクに適した知識ベースを構築することは不可能である。 本稿では,PLMからタスク固有の知識を抽出し,汎用IEを強化するメタレトリバーを提案する。
• 参考スコア（独自算出の注目度）: 39.69130086395689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal Information Extraction~(Universal IE) aims to solve different extraction tasks in a uniform text-to-structure generation manner. Such a generation procedure tends to struggle when there exist complex information structures to be extracted. Retrieving knowledge from external knowledge bases may help models to overcome this problem but it is impossible to construct a knowledge base suitable for various IE tasks. Inspired by the fact that large amount of knowledge are stored in the pretrained language models~(PLM) and can be retrieved explicitly, in this paper, we propose MetaRetriever to retrieve task-specific knowledge from PLMs to enhance universal IE. As different IE tasks need different knowledge, we further propose a Meta-Pretraining Algorithm which allows MetaRetriever to quicktly achieve maximum task-specific retrieval performance when fine-tuning on downstream IE tasks. Experimental results show that MetaRetriever achieves the new state-of-the-art on 4 IE tasks, 12 datasets under fully-supervised, low-resource and few-shot scenarios.
• Abstract（参考訳）: Universal Information extract~(Universal IE)は、テキストから構造までの一様生成方法で異なる抽出タスクを解くことを目的としている。 このような生成手順は、抽出すべき複雑な情報構造が存在する場合に苦労する傾向がある。 外部知識ベースから知識を取得することは、モデルがこの問題を克服するのに役立つかもしれないが、様々なIEタスクに適した知識ベースを構築することは不可能である。 本稿では,事前学習された言語モデル~(plm)に大量の知識が格納されていることに着想を得て,タスク固有の知識をplmから取得してユニバーサルieを強化するメタレトリエを提案する。 異なるIEタスクが異なる知識を必要とするため、下流のIEタスクを微調整する際に、MetaRetrieverがタスク固有の検索性能の最大化を迅速に行えるメタトレーニングアルゴリズムを提案する。 実験の結果、MetaRetrieverは4つのIEタスク、12のデータセットで、完全に管理され、低リソースで、少数ショットのシナリオで新しい最先端を実現している。

関連論文リスト

• A Regularization-based Transfer Learning Method for Information Extraction via Instructed Graph Decoder [29.242560023747252]
  グラフデコーダを用いたIE(TIE)の正規化に基づく転送学習手法を提案する。 具体的には、まず、よく知られたすべてのIEタスクからデータセットの命令プールを構築し、次に指示されたグラフデコーダを提示する。 このようにして、既存のデータセットと共有される共通知識を学び、新しいラベルを持つ新しいデータセットに転送することができる。
  論文  参考訳（メタデータ） (2024-03-01T13:04:12Z)
• UMIE: Unified Multimodal Information Extraction with Instruction Tuning [12.777967562175437]
  命令チューニングを用いた生成問題として、3つのMIEタスクを統一する統合マルチモーダル情報抽出器UMIEを提案する。 大規模な実験により、私たちのUMIEは6つのMIEデータセットで3つのタスクで様々な最先端(SoTA)メソッドより優れています。 本研究は,MIEモデルを統一化するための最初のステップとして機能し,MIEドメイン内の命令チューニングモデルと大規模言語モデルの両方を探索する。
  論文  参考訳（メタデータ） (2024-01-05T22:52:15Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Mirror: A Universal Framework for Various Information Extraction Tasks [28.43708291298155]
  我々は、様々なIEタスク、すなわちMirrorのための普遍的なフレームワークを提案する。 我々は,既存のIEタスクをマルチスパン巡回グラフ抽出問題として再評価し,非自己回帰グラフ復号アルゴリズムを考案した。 我々のモデルは、SOTAシステムとの互換性や性能に優れ、競争性能に優れています。
  論文  参考訳（メタデータ） (2023-11-09T14:58:46Z)
• Easy-to-Hard Learning for Information Extraction [57.827955646831526]
  情報抽出システムは、構造化されていないテキストから構造化された情報を自動的に抽出することを目的としている。 本稿では,3段階,すなわち易解な段階,難解な段階,主段階の3段階からなる統合型易解学習フレームワークを提案する。 学習プロセスを複数の段階に分割することで,一般のIEタスク知識の獲得と一般化能力の向上が促進される。
  論文  参考訳（メタデータ） (2023-05-16T06:04:14Z)
• CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors [92.17328076003628]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、多くのNLPタスクにおいて、驚くべき数ショットの学習能力を示している。 本稿では、自然言語の代わりに構造化された出力をコード形式で再キャストすることを提案する。
  論文  参考訳（メタデータ） (2023-05-09T18:40:31Z)
• Unified Structure Generation for Universal Information Extraction [58.89057387608414]
  UIEは、異なるIEタスクを普遍的にモデル化し、ターゲット構造を適応的に生成し、異なる知識ソースから一般的なIE能力を協調的に学習することができる。 実験によると、UIEは4つのIEタスク、13のデータセット、およびすべての教師付き、低リソース、数ショット設定で最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-03-23T08:49:29Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。