Fugu-MT 論文翻訳(概要): A Side-by-side Comparison of Transformers for English Implicit Discourse Relation Classification

論文の概要: A Side-by-side Comparison of Transformers for English Implicit Discourse Relation Classification

arxiv url: http://arxiv.org/abs/2307.03378v1
Date: Fri, 7 Jul 2023 04:12:25 GMT
ステータス: 処理完了
システム内更新日: 2023-07-10 13:27:51.258240
Title: A Side-by-side Comparison of Transformers for English Implicit Discourse Relation Classification
Title（参考訳）: 英語暗黙的談話関係分類におけるトランスフォーマーの並べ比較
Authors: Bruce W. Lee, BongSeok Yang, Jason Hyung-Jong Lee
Abstract要約: この研究は、7つの事前訓練された言語モデルの直感的かつ微妙な言論性能の比較である。モデル探索により,SOTAは0.671ACCまで上昇し,新しい観測結果を得た。
参考スコア（独自算出の注目度）: 0.42970700836450487
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Though discourse parsing can help multiple NLP fields, there has been no wide language model search done on implicit discourse relation classification. This hinders researchers from fully utilizing public-available models in discourse analysis. This work is a straightforward, fine-tuned discourse performance comparison of seven pre-trained language models. We use PDTB-3, a popular discourse relation annotated dataset. Through our model search, we raise SOTA to 0.671 ACC and obtain novel observations. Some are contrary to what has been reported before (Shi and Demberg, 2019b), that sentence-level pre-training objectives (NSP, SBO, SOP) generally fail to produce the best performing model for implicit discourse relation classification. Counterintuitively, similar-sized PLMs with MLM and full attention led to better performance.
Abstract（参考訳）: 談話構文解析は複数のNLP分野に役立つが、暗黙の談話関係の分類では広い言語モデル探索は行われていない。これにより、研究者は談話分析において公開可能なモデルを完全に活用することを妨げる。この研究は、7つの事前訓練された言語モデルの直感的で微調整された談話性能の比較である。一般的な談話関係アノテートデータセットであるPDTB-3を用いる。モデル探索により,SOTAは0.671ACCまで上昇し,新しい観測結果を得た。文章レベルの事前学習目標(NSP, SBO, SOP)は、暗黙の言論関係分類において、最もパフォーマンスの良いモデルを作成するのに失敗する(Shi and Demberg, 2019b)。対極的には、MLMとフルアテンションを備えた同様のサイズのPLMが性能向上につながった。

関連論文リスト

One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
論文参考訳（メタデータ） (2024-10-14T18:44:23Z)
A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives [13.581385765600265]
プレトレーニング言語モデル(PLM)は優れたパフォーマンスを示し、NLPコミュニティの注目を集めている。本稿では,制御された方法論環境における多言語事前学習目標の比較を提案する。
論文参考訳（メタデータ） (2024-07-22T09:16:30Z)
Revisiting a Pain in the Neck: Semantic Phrase Processing Benchmark for Language Models [10.482557806309174]
セマンティックフレーズ処理タスクにおける言語モデル(LM)のテストを可能にする総合評価スイートであるLexBenchを紹介する。我々のベンチマークにより、モデルアーキテクチャにおける15のLMの性能と、分類、抽出、解釈タスクにおけるパラメータスケールを評価する。我々のベンチマーク結果は,意味的フレーズ理解におけるLMの汎用的能力の向上を目的とした今後の研究に役立つだろう。
論文参考訳（メタデータ） (2024-05-05T09:20:38Z)
Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文参考訳（メタデータ） (2023-10-02T18:52:35Z)
CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。分割のための専用モデルを訓練するための新しい手法を導入する。
論文参考訳（メタデータ） (2023-05-23T16:32:27Z)
Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages [18.210880703295253]
3つの異なる家系の7つの言語で事前訓練された言語モデル(PLM)を精査する。我々は,そのゼロショット性能を,近縁な非標準多様体で解析する。全体として、ソース内のサブワードに分割される単語の割合とターゲットデータとの類似性が、ターゲットデータ上でのモデル性能の予測に最強であることが判明した。
論文参考訳（メタデータ） (2023-04-20T08:32:34Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。本研究では,このアプローチをニューラルLMの文脈で再考する。
論文参考訳（メタデータ） (2022-03-21T01:16:44Z)
Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文参考訳（メタデータ） (2021-10-04T08:51:36Z)
Discourse Probing of Pretrained Language Models [33.46519116869276]
文書レベルの関係を捉えるための事前訓練されたLMの能力を評価するために,文書レベルの談話探索を導入する。 7つのプリトレーニングされたLM、4つの言語、7つの対話プロービングタスクを実験します。
論文参考訳（メタデータ） (2021-04-13T01:04:31Z)
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
論文参考訳（メタデータ） (2020-05-20T23:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。