論文の概要: A Regularization-based Transfer Learning Method for Information Extraction via Instructed Graph Decoder

• arxiv url: http://arxiv.org/abs/2403.00891v1
• Date: Fri, 1 Mar 2024 13:04:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:08:09.878180
• Title: A Regularization-based Transfer Learning Method for Information Extraction via Instructed Graph Decoder
• Title（参考訳）: 指示付きグラフデコーダによる情報抽出のための正規化に基づく転送学習法
• Authors: Kedi Chen and Jie Zhou and Qin Chen and Shunyu Liu and Liang He
• Abstract要約: グラフデコーダを用いたIE(TIE)の正規化に基づく転送学習手法を提案する。 具体的には、まず、よく知られたすべてのIEタスクからデータセットの命令プールを構築し、次に指示されたグラフデコーダを提示する。 このようにして、既存のデータセットと共有される共通知識を学び、新しいラベルを持つ新しいデータセットに転送することができる。
• 参考スコア（独自算出の注目度）: 29.242560023747252
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Information extraction (IE) aims to extract complex structured information from the text. Numerous datasets have been constructed for various IE tasks, leading to time-consuming and labor-intensive data annotations. Nevertheless, most prevailing methods focus on training task-specific models, while the common knowledge among different IE tasks is not explicitly modeled. Moreover, the same phrase may have inconsistent labels in different tasks, which poses a big challenge for knowledge transfer using a unified model. In this study, we propose a regularization-based transfer learning method for IE (TIE) via an instructed graph decoder. Specifically, we first construct an instruction pool for datasets from all well-known IE tasks, and then present an instructed graph decoder, which decodes various complex structures into a graph uniformly based on corresponding instructions. In this way, the common knowledge shared with existing datasets can be learned and transferred to a new dataset with new labels. Furthermore, to alleviate the label inconsistency problem among various IE tasks, we introduce a task-specific regularization strategy, which does not update the gradients of two tasks with 'opposite direction'. We conduct extensive experiments on 12 datasets spanning four IE tasks, and the results demonstrate the great advantages of our proposed method
• Abstract（参考訳）: 情報抽出(IE)は、テキストから複雑な構造化情報を抽出することを目的としている。 様々なIEタスクのために多くのデータセットが構築されており、時間と労力のかかるデータアノテーションにつながっている。 しかしながら、ほとんどの一般的な方法はタスク固有のモデルのトレーニングに重点を置いているが、異なるIEタスク間の共通知識は明示的にモデル化されていない。 さらに、同じフレーズが異なるタスクで一貫性のないラベルを持つ可能性があるため、統一モデルを用いた知識伝達には大きな課題がある。 本研究では,指示付きグラフデコーダを用いたie(tie)のための正規化に基づく転送学習手法を提案する。 具体的には、まず、よく知られたすべてのieタスクからデータセットの命令プールを構築し、次に、様々な複雑な構造を対応する命令に基づいて一様にグラフにデコードする指示付きグラフデコーダを示す。 このようにして、既存のデータセットと共有される共通知識を学び、新しいラベルを持つ新しいデータセットに転送することができる。 さらに,ieタスク間のラベル不整合問題を緩和するために,二つのタスクの勾配を「指示方向」で更新しないタスク固有正規化戦略を導入する。 4つのieタスクにまたがる12のデータセットについて広範な実験を行い,提案手法の利点を実証した。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• InLINE: Inner-Layer Information Exchange for Multi-task Learning on Heterogeneous Graphs [13.204120407041195]
  不均一グラフは、実世界のシナリオで複雑なデータをモデル化するための重要な構造である。 本稿では,各グラフ層内の微細な情報交換を容易にする内層情報交換モデルを提案する。 我々のモデルは、負の転送によって生じる特定のタスクの大幅な性能低下を効果的に軽減する。
  論文  参考訳（メタデータ） (2024-10-29T14:46:49Z)
• Mirror: A Universal Framework for Various Information Extraction Tasks [28.43708291298155]
  我々は、様々なIEタスク、すなわちMirrorのための普遍的なフレームワークを提案する。 我々は,既存のIEタスクをマルチスパン巡回グラフ抽出問題として再評価し,非自己回帰グラフ復号アルゴリズムを考案した。 我々のモデルは、SOTAシステムとの互換性や性能に優れ、競争性能に優れています。
  論文  参考訳（メタデータ） (2023-11-09T14:58:46Z)
• Universal Information Extraction with Meta-Pretrained Self-Retrieval [39.69130086395689]
  ユニバーサル情報抽出(Universal IE)は、テキストから構造までの一様生成方法で異なる抽出タスクを解くことを目的としている。 外部知識ベースから知識を取得することは、モデルがこの問題を克服するのに役立つかもしれないが、様々なIEタスクに適した知識ベースを構築することは不可能である。 本稿では,PLMからタスク固有の知識を抽出し,汎用IEを強化するメタレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-06-18T00:16:00Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Easy-to-Hard Learning for Information Extraction [57.827955646831526]
  情報抽出システムは、構造化されていないテキストから構造化された情報を自動的に抽出することを目的としている。 本稿では,3段階,すなわち易解な段階,難解な段階,主段階の3段階からなる統合型易解学習フレームワークを提案する。 学習プロセスを複数の段階に分割することで,一般のIEタスク知識の獲得と一般化能力の向上が促進される。
  論文  参考訳（メタデータ） (2023-05-16T06:04:14Z)
• Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction [80.64518530825801]
  本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。 GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
  論文  参考訳（メタデータ） (2022-11-11T05:37:19Z)
• Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization [68.91386402390403]
  本研究では,学習中の命令をよりよく活用するために,Unlabeled Data Augmented Instruction Tuning (UDIT)を提案する。 タスクやデータセットのさまざまなシナリオにおいて,UDITの有効性を示すための広範な実験を行う。
  論文  参考訳（メタデータ） (2022-10-17T15:25:24Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Knowledge Graph Anchored Information-Extraction for Domain-Specific Insights [1.6308268213252761]
  新しいドメイン内で特定の情報ニーズを満たすためにタスクベースのアプローチを使用します。 美術NLP技術の状態を構成したパイプラインを使用して、インスタンスレベルのセマンティック構造を自動的に抽出する。
  論文  参考訳（メタデータ） (2021-04-18T19:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。