論文の概要: DEER: A Data Efficient Language Model for Event Temporal Reasoning

• arxiv url: http://arxiv.org/abs/2012.15283v1
• Date: Wed, 30 Dec 2020 18:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 10:50:52.419343
• Title: DEER: A Data Efficient Language Model for Event Temporal Reasoning
• Title（参考訳）: DEER: イベント時間推論のためのデータ効率の良い言語モデル
• Authors: Rujun Han, Xiang Ren, Nanyun Peng
• Abstract要約: 本稿では,事象の時間的関係に着目した言語モデルDEERを提案する。 我々の実験結果から, DEER は SOTA の結果を達成でき,低リソース環境では特に有効であることがわかった。
• 参考スコア（独自算出の注目度）: 44.21992914516526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models (LMs) such as BERT, RoBERTa, and ELECTRA are effective at improving the performances of a variety of downstream NLP tasks. Recently, researchers have incorporated domain and task-specific knowledge in these LMs' training objectives and further enhanced models' capability of handling downstream tasks. However, none of these LMs are designed specifically for event temporal reasoning. We propose DEER, a language model that is trained to focus on event temporal relations and performs better under low-resource settings than original LMs. More specifically, we create a large number of training samples to simulate the machine reading comprehension and information extraction tasks for event temporal understanding and leverage a generator-discriminator structure to reinforce the LMs' capability of event temporal reasoning. Our experimental results show that DEER can achieve SOTA results and works particularly well in low-resource settings across 5 widely used datasets.
• Abstract（参考訳）: BERT、RoBERTa、ELECTRAなどの事前訓練言語モデル(LM)は、様々な下流NLPタスクの性能向上に有効である。 近年、研究者はこれらのLMのトレーニング目標にドメインとタスク固有の知識を取り入れ、下流タスクを扱うモデルの能力をさらに強化している。 しかしながら、これらのLMはイベントの時間的推論に特化して設計されていない。 本稿では,イベントの時間的関係に着目した言語モデルDEERを提案する。 具体的には,イベント時相理解のための機械読解と情報抽出タスクをシミュレートするために,多数のトレーニングサンプルを作成し,イベント時相推論のlms能力を強化するためにジェネレータ・判別器構造を活用する。 実験の結果, DEER は SOTA の結果を達成でき,特に 5 つの広く使用されているデータセットの低リソース環境では有効であることがわかった。

関連論文リスト

• JAPAGEN: Efficient Few/Zero-shot Learning via Japanese Training Dataset Generation with LLM [2.642698101441705]
  大規模言語モデル(LLM)は、推論効率の向上やデータ収集に伴うコスト削減といった利点を提供する。 本稿では、LLMが他の言語タスクのための熟練したトレーニングデータジェネレータとして機能するのか、という根本的な研究課題に対処する。 具体的には、LLMを活用して、少数ショットおよびゼロショット学習シナリオ下で教師付きトレーニングデータを合成する。 我々はこの合成データを用いてコンパクトモデル(例えばBERT)を訓練する。
  論文  参考訳（メタデータ） (2024-12-09T18:27:32Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
  ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-05-08T03:57:45Z)
• Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
  簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。 本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
  論文  参考訳（メタデータ） (2024-02-19T14:02:31Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)
• Concept-aware Training Improves In-context Learning Ability of Language Models [0.0]
  トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。 テキスト内情報をよりよく活用できるLMを作成する手法を提案する。 概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
  論文  参考訳（メタデータ） (2023-05-23T07:44:52Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。