論文の概要: Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction

• arxiv url: http://arxiv.org/abs/2211.06014v2
• Date: Mon, 14 Nov 2022 08:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 15:33:19.116729
• Title: Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction
• Title（参考訳）: 低リソース情報抽出のための勾配模倣強化学習
• Authors: Xuming Hu, Shiao Meng, Chenwei Zhang, Xiangli Yang, Lijie Wen, Irwin King, Philip S. Yu
• Abstract要約: 本研究では,ラベル付きデータに対する勾配降下方向を模倣するために擬似ラベル付きデータを奨励するグラディエント強化学習法(GIRL)を開発した。 GIRLを利用して、低リソース設定ですべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決します。
• 参考スコア（独自算出の注目度）: 80.64518530825801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).
• Abstract（参考訳）: 情報抽出(IE)は異種情報源から構造化情報を抽出することを目的としている。 自然言語テキストからのIEには、名前付きエンティティ認識(NER)、関係抽出(RE)、イベント抽出(EE)などのサブタスクが含まれる。 ほとんどのIEシステムは、文構造、暗黙のセマンティクス、ドメイン知識の包括的な理解を必要とするため、IEタスクは常に適切な外部リソースとアノテーションが必要である。 しかし、より人間のアノテーションを得るには時間と労力を要する。 低リソース情報抽出(LRIE)は、教師なしのデータを使用し、必要なリソースと人間のアノテーションを減らす。 実際には、既存のシステムは自己学習方式を使用して、段階的なドリフト問題を引き起こす擬似ラベルを生成するか、あるいは必然的に確証バイアスを持つ一貫性の正則化手法を利用する。 既存のLRIE学習パラダイムにおけるフィードバックループの欠如による確認バイアスを軽減するため,ラベル付きデータに勾配降下方向を模した擬ラベル付きデータを奨励するグラディエント・イミテーション・強化学習(GIRL)法を開発した。 ラベル付きデータから得られた指示的勾配降下方向を擬似ラベル付きデータがいかによく模倣するかに基づき、模倣過程を定量化し、試行錯誤により擬似ラベル付きデータの最適化能力をブートストラップする報酬をデザインする。 学習パラダイムに加えて、GIRLは特定のサブタスクに限らず、GIRLを利用して低リソース環境(準教師付きIEと少数ショットIE)におけるすべてのIEサブタスク(エンティティ認識、関係抽出、イベント抽出)を解決する。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories [37.14064734165109]
  自然エージェントは、サイズ、品質、種類の異なる複数のデータソースから学習することができる。 オフライン強化学習(RL)の文脈でこれを研究し、実際に動機付けされた半教師付き環境を導入する。
  論文  参考訳（メタデータ） (2022-10-12T18:22:23Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。