論文の概要: AMR Parsing with Instruction Fine-tuned Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2304.12272v1
- Date: Mon, 24 Apr 2023 17:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 14:08:35.806414
- Title: AMR Parsing with Instruction Fine-tuned Pre-trained Language Models
- Title(参考訳): 微調整事前学習言語モデルを用いたAMR解析
- Authors: Young-Suk Lee, Ram\'on Fernandez Astudillo, Radu Florian, Tahira
Naseem, Salim Roukos
- Abstract要約: そこで本稿では,FLAN-T5 命令を微調整した言語モデルを用いて AMR 解析を行う。
AMR2.0,AMR3.0,BioAMRなどの各種AMR解析タスクに関する実験により,FLAN-T5微調整モデルが従来の最先端モデルより優れていたことが示唆された。
- 参考スコア(独自算出の注目度): 21.767812442354387
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Instruction fine-tuned language models on a collection of instruction
annotated datasets (FLAN) have shown highly effective to improve model
performance and generalization to unseen tasks. However, a majority of standard
parsing tasks including abstract meaning representation (AMR), universal
dependency (UD), semantic role labeling (SRL) has been excluded from the FLAN
collections for both model training and evaluations. In this paper, we take one
of such instruction fine-tuned pre-trained language models, i.e. FLAN-T5, and
fine-tune them for AMR parsing. Our extensive experiments on various AMR
parsing tasks including AMR2.0, AMR3.0 and BioAMR indicate that FLAN-T5
fine-tuned models out-perform previous state-of-the-art models across all
tasks. In addition, full fine-tuning followed by the parameter efficient
fine-tuning, LoRA, further improves the model performances, setting new
state-of-the-arts in Smatch on AMR2.0 (86.4), AMR3.0 (84.9) and BioAMR (82.3).
- Abstract(参考訳): インストラクションアノテートデータセット(flan)の集合上のインストラクション微調整言語モデル(インストラクション微調整言語モデル)は、モデルの性能向上と未認識タスクの一般化に非常に効果的であることが示されている。
しかしながら、抽象的意味表現(AMR)、普遍的依存(UD)、意味的役割ラベル付け(SRL)といった標準的な構文解析タスクの大部分は、モデルトレーニングと評価の両方のためにFLANコレクションから除外されている。
本稿では,flan-t5などの事前学習型言語モデルを用いてamr解析を行う。
AMR2.0、AMR3.0、BioAMRを含む様々なAMR解析タスクに関する広範な実験は、FLAN-T5微調整モデルが全てのタスクにおいて過去の最先端モデルより優れていることを示している。
さらに、完全な微調整とパラメータ効率の良い微調整(LoRA)によりモデル性能が向上し、Smatch on AMR2.0 (86.4)、AMR3.0 (84.9)、BioAMR (82.3)に新たな最先端技術が設定された。
関連論文リスト
- Mixture of Cluster-conditional LoRA Experts for Vision-language
Instruction Tuning [71.53493981808238]
クラスター条件のLoRAエキスパート(MoCLE)の混合
MoCLEはタスクカスタマイズモデルパラメータを活性化するために設計された新しいMixture of Expertsアーキテクチャである。
新規な命令に対するMoCLEの一般化能力を改善するために、別個のユニバーサルエキスパートがさらに組み込まれている。
論文 参考訳(メタデータ) (2023-12-19T18:11:19Z) - Large language models for aspect-based sentiment analysis [0.0]
GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。
微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
論文 参考訳(メタデータ) (2023-10-27T10:03:21Z) - Evaluating the Robustness to Instructions of Large Language Models [6.947956990248856]
微調整大型言語モデル(LLM)は、新しいタスクにおけるゼロショット能力を向上することができる。
Alpaca, Vicuna, WizardLM, 従来のタスク指向モデル(Flan-T5-XL/XXL, T0++)を含む6つのモデルを評価する。
異なるスケールのFLAN-T5モデルのRE命令に対するロバスト性は、QA命令に対するロバスト性よりも劣っていることがわかった。
論文 参考訳(メタデータ) (2023-08-28T04:57:07Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z) - Instruction Tuned Models are Quick Learners [20.771930945083994]
そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。
STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。
MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
論文 参考訳(メタデータ) (2023-05-17T22:30:01Z) - Scaling Instruction-Finetuned Language Models [126.4789306516927]
命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。
命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
論文 参考訳(メタデータ) (2022-10-20T16:58:32Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳(メタデータ) (2022-05-10T19:32:20Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳(メタデータ) (2021-10-30T03:29:47Z) - The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。
私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。
翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文 参考訳(メタデータ) (2021-07-24T09:53:34Z) - Improving AMR Parsing with Sequence-to-Sequence Pre-training [39.33133978535497]
本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。
単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。
実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
論文 参考訳(メタデータ) (2020-10-05T04:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。