Fugu-MT 論文翻訳(概要): Will It Blend? Mixing Training Paradigms & Prompting for Argument Quality Prediction

論文の概要: Will It Blend? Mixing Training Paradigms & Prompting for Argument Quality Prediction

arxiv url: http://arxiv.org/abs/2209.08966v1
Date: Mon, 19 Sep 2022 12:34:46 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 16:06:02.598578
Title: Will It Blend? Mixing Training Paradigms & Prompting for Argument Quality Prediction
Title（参考訳）: それはブレンドか? 議論品質予測のための混合訓練パラダイムと試行
Authors: Michiel van der Meer, Myrthe Reuver, Urja Khurana, Lea Krause, Selene B\'aez Santamar\'ia
Abstract要約: 本稿では,第9回Argument Miningワークショップ(2022年)の共有タスクへのコントリビューションについて述べる。提案手法では,大規模言語モデルを用いて品質予測を行う。 GPT-3を用いて即時エンジニアリングを行い、マルチタスク学習、コントラスト学習、中間タスク学習の訓練パラダイムについても検討する。
参考スコア（独自算出の注目度）: 0.4374837991804085
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper describes our contributions to the Shared Task of the 9th Workshop on Argument Mining (2022). Our approach uses Large Language Models for the task of Argument Quality Prediction. We perform prompt engineering using GPT-3, and also investigate the training paradigms multi-task learning, contrastive learning, and intermediate-task training. We find that a mixed prediction setup outperforms single models. Prompting GPT-3 works best for predicting argument validity, and argument novelty is best estimated by a model trained using all three training paradigms.
Abstract（参考訳）: 本稿では,第9回Argument Miningワークショップ(2022年)の共有タスクへのコントリビューションについて述べる。提案手法は,議論品質予測のタスクに大規模言語モデルを用いる。我々はgpt-3を用いてプロンプトエンジニアリングを行い,マルチタスク学習,コントラスト学習,中間タスクトレーニングのトレーニングパラダイムを検討する。混合予測が単一モデルより優れていることがわかった。プロンプティング GPT-3 は議論の妥当性を予測するのに最適であり、議論の新規性は3つの訓練パラダイムすべてを用いて訓練されたモデルによって最もよく推定される。

関連論文リスト

Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
論文参考訳（メタデータ） (2024-06-20T16:55:33Z)
Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文参考訳（メタデータ） (2023-05-24T04:22:26Z)
ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文参考訳（メタデータ） (2023-01-31T07:31:34Z)
Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文参考訳（メタデータ） (2022-05-10T19:32:20Z)
Prompt-based Pre-trained Model for Personality and Interpersonal Reactivity Prediction [19.288384399961867]
本稿では、LingJingチームによる主観性・感性・ソーシャルメディア分析に関するワークショップ(WASSA)2022におけるパーソナリティ予測(PER)と反応性指標予測(IRI)の共有タスクについて述べる。
論文参考訳（メタデータ） (2022-03-23T15:22:34Z)
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文参考訳（メタデータ） (2022-03-14T04:26:40Z)
FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments [0.0]
我々はGermEval 2021への提出に使用した手法について述べる。 3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
論文参考訳（メタデータ） (2021-09-07T09:46:27Z)
Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。この種の少数ショット学習は不安定である。プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
論文参考訳（メタデータ） (2021-02-19T00:23:59Z)
Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。 LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
論文参考訳（メタデータ） (2020-12-31T17:21:26Z)
A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。その結果,PRALは最先端の手法と同等以上の性能を示した。
論文参考訳（メタデータ） (2020-04-24T09:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。