Fugu-MT 論文翻訳(概要): Machine Learning Meets Natural Language Processing -- The story so far

論文の概要: Machine Learning Meets Natural Language Processing -- The story so far

arxiv url: http://arxiv.org/abs/2104.10213v1
Date: Sat, 27 Mar 2021 16:41:34 GMT
ステータス: 処理完了
システム内更新日: 2023-04-06 16:52:24.614129
Title: Machine Learning Meets Natural Language Processing -- The story so far
Title（参考訳）: 機械学習は自然言語処理と出会う -- これまでの話
Authors: N.-I. Galanis, P. Vafiadis, K.-G. Mirzaev, G.A. Papakostas
Abstract要約: 解決すべき問題がまだ残っていることに注目し、Transformers、BERT、および同様の注意ベースのモデルに対する画期的な提案を強調している。本稿は、各モデルとアルゴリズムの総合的な進歩への貢献を見極めながら、この時期の最も重要なマイルストーンを取り上げている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Natural Language Processing (NLP) has evolved significantly over the last decade. This paper highlights the most important milestones of this period while trying to pinpoint the contribution of each individual model and algorithm to the overall progress. Furthermore, it focuses on issues still remaining to be solved, emphasizing the groundbreaking proposals of Transformers, BERT, and all the similar attention-based models.
Abstract（参考訳）: 自然言語処理(NLP)はこの10年間で大きく進化してきた。本稿では、各モデルとアルゴリズムの全体的な進歩への貢献を特定しつつ、この期間における最も重要なマイルストーンを強調する。さらに、まだ解決すべき課題に焦点を合わせ、Transformers、BERT、および同様の注意ベースのモデルに対する画期的な提案を強調している。

関連論文リスト

Deep Learning and Machine Learning -- Natural Language Processing: From Theory to Application [17.367710635990083]
自然言語処理(NLP)と大規模言語モデル(LLM)の役割に焦点を当てる。本稿では,データ前処理技術とHugging Faceのようなフレームワークを用いたトランスフォーマーモデルの実装について論じる。マルチリンガルデータの扱い、バイアスの低減、モデルの堅牢性確保といった課題を強調している。
論文参考訳（メタデータ） (2024-10-30T09:35:35Z)
State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
論文参考訳（メタデータ） (2024-06-13T12:51:22Z)
Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。結果は、メソッド間でのパフォーマンスにかなりの違いが示される。この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
論文参考訳（メタデータ） (2023-11-21T06:23:38Z)
Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
論文参考訳（メタデータ） (2023-11-14T21:04:03Z)
The Influence of Data Pre-processing and Post-processing on Long Document Summarization [2.0007592415850683]
長い文書要約の優れたパフォーマンスは、モデルが人間の言語を十分に理解していることを明らかにする。本稿では,2つの前処理法と後処理法を用いて,これらの手法が様々な長期文書要約モデルに与える影響を解析する。
論文参考訳（メタデータ） (2021-12-03T00:56:17Z)
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文参考訳（メタデータ） (2021-11-01T20:08:05Z)
A Comprehensive Comparison of Pre-training Language Models [0.5139874302398955]
私たちは、同じテキスト量と同じトレーニングステップで、トランスフォーマーベースのモデルのリストを事前トレーニングします。実験結果から、BERTの原点における最も改善点は、短いテキスト理解のためにより文脈的な情報を取得するためにRNN層を追加することである。
論文参考訳（メタデータ） (2021-06-22T02:12:29Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Modeling Topical Relevance for Multi-Turn Dialogue Generation [61.87165077442267]
マルチターン対話におけるトピックドリフト問題に対処する新しいモデルSTAR-BTMを提案する。バイラルトピックモデルは、トレーニングデータセット全体に基づいて事前トレーニングされ、各コンテキストのトピック表現に基づいてトピックレベルの注意重みが計算される。中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMは最先端の手法を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2020-09-27T03:33:22Z)
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。