論文の概要: DEER: A Data Efficient Language Model for Event Temporal Reasoning
- arxiv url: http://arxiv.org/abs/2012.15283v1
- Date: Wed, 30 Dec 2020 18:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-18 10:50:52.419343
- Title: DEER: A Data Efficient Language Model for Event Temporal Reasoning
- Title(参考訳): DEER: イベント時間推論のためのデータ効率の良い言語モデル
- Authors: Rujun Han, Xiang Ren, Nanyun Peng
- Abstract要約: 本稿では,事象の時間的関係に着目した言語モデルDEERを提案する。
我々の実験結果から, DEER は SOTA の結果を達成でき,低リソース環境では特に有効であることがわかった。
- 参考スコア(独自算出の注目度): 44.21992914516526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained language models (LMs) such as BERT, RoBERTa, and ELECTRA are
effective at improving the performances of a variety of downstream NLP tasks.
Recently, researchers have incorporated domain and task-specific knowledge in
these LMs' training objectives and further enhanced models' capability of
handling downstream tasks. However, none of these LMs are designed specifically
for event temporal reasoning. We propose DEER, a language model that is trained
to focus on event temporal relations and performs better under low-resource
settings than original LMs. More specifically, we create a large number of
training samples to simulate the machine reading comprehension and information
extraction tasks for event temporal understanding and leverage a
generator-discriminator structure to reinforce the LMs' capability of event
temporal reasoning. Our experimental results show that DEER can achieve SOTA
results and works particularly well in low-resource settings across 5 widely
used datasets.
- Abstract(参考訳): BERT、RoBERTa、ELECTRAなどの事前訓練言語モデル(LM)は、様々な下流NLPタスクの性能向上に有効である。
近年、研究者はこれらのLMのトレーニング目標にドメインとタスク固有の知識を取り入れ、下流タスクを扱うモデルの能力をさらに強化している。
しかしながら、これらのLMはイベントの時間的推論に特化して設計されていない。
本稿では,イベントの時間的関係に着目した言語モデルDEERを提案する。
具体的には,イベント時相理解のための機械読解と情報抽出タスクをシミュレートするために,多数のトレーニングサンプルを作成し,イベント時相推論のlms能力を強化するためにジェネレータ・判別器構造を活用する。
実験の結果, DEER は SOTA の結果を達成でき,特に 5 つの広く使用されているデータセットの低リソース環境では有効であることがわかった。
関連論文リスト
- Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。
本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
論文 参考訳(メタデータ) (2024-02-19T14:02:31Z) - Temporal Blind Spots in Large Language Models [20.631107338678234]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。
本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
論文 参考訳(メタデータ) (2024-01-22T16:20:14Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Concept-aware Training Improves In-context Learning Ability of Language
Models [0.0]
トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。
テキスト内情報をよりよく活用できるLMを作成する手法を提案する。
概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
論文 参考訳(メタデータ) (2023-05-23T07:44:52Z) - Differentially Private Decoding in Large Language Models [14.221692239892207]
本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。
我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
論文 参考訳(メタデータ) (2022-05-26T20:50:58Z) - Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文 参考訳(メタデータ) (2020-12-04T08:34:39Z) - Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。
正規化項を追加し、TMの出力分布をLMの下で予測可能とする。
2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
論文 参考訳(メタデータ) (2020-04-30T16:29:56Z) - oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。
基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
論文 参考訳(メタデータ) (2019-12-31T12:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。