Fugu-MT 論文翻訳(概要): Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization

論文の概要: Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization

arxiv url: http://arxiv.org/abs/2212.05740v1
Date: Mon, 12 Dec 2022 07:37:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-13 16:12:14.598982
Title: Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization
Title（参考訳）: 効果的な多言語微調整方法の探索--要約の事例研究
Authors: Yiwei Qin, Graham Neubig, Pengfei Liu
Abstract要約: 我々は多言語学習のための様々なチューニング戦略、特にテキスト要約の文脈で評価する。我々はXL-Sumデータセット上に新しい最先端技術を確立する。
参考スコア（独自算出の注目度）: 99.07737750028895
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recently, a large number of tuning strategies have been proposed to adapt pre-trained language models to downstream tasks. In this paper, we perform an extensive empirical evaluation of various tuning strategies for multilingual learning, particularly in the context of text summarization. Specifically, we explore the relative advantages of three families of multilingual tuning strategies (a total of five models) and empirically evaluate them for summarization over 45 languages. Experimentally, we not only established a new state-of-the-art on the XL-Sum dataset but also derive a series of observations that hopefully can provide hints for future research on the design of multilingual tuning strategies.
Abstract（参考訳）: 近年,学習済み言語モデルを下流タスクに適応させるためのチューニング戦略が多数提案されている。本稿では,多言語学習のための様々なチューニング戦略,特にテキスト要約の文脈において,広範な経験的評価を行う。具体的には、多言語調律戦略(合計5つのモデル)の3つのファミリーの相対的な利点を調べ、45以上の言語を要約するために経験的に評価する。実験により,XL-Sumデータセット上に新たな最先端技術を構築しただけでなく,多言語チューニング戦略の設計に関する今後の研究のヒントとなる一連の観測結果も得られた。

関連論文リスト

Multilingual Few-Shot Learning via Language Model Retrieval [18.465566186549072]
トランスフォーマーベースの言語モデルは、数ショットのインコンテキスト学習において顕著な成功を収めた。本研究は,意味論的に類似したショットサンプルを検索し,コンテキストとして利用する研究である。提案手法を,意図検出,質問分類,感情分析,話題分類に関連する5つの自然言語理解データセット上で評価した。
論文参考訳（メタデータ） (2023-06-19T14:27:21Z)
BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
論文参考訳（メタデータ） (2023-05-24T08:06:33Z)
UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining [92.3702056505905]
我々は,尾語への過剰適合を軽減しつつ,より均一なヘッド言語カバレッジを提供する新しいサンプリング手法UniMaxを提案する。 We found that UniMax are outperforming standard temperature-based sample, and the benefit persistent as scale increased。
論文参考訳（メタデータ） (2023-04-18T17:45:50Z)
Multilingual Relation Classification via Efficient and Effective Prompting [9.119073318043952]
本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
論文参考訳（メタデータ） (2022-10-25T08:40:23Z)
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
論文参考訳（メタデータ） (2022-04-06T06:29:52Z)
On Efficiently Acquiring Annotations for Multilingual Models [12.304046317362792]
一つのモデルを用いて複数の言語にまたがる共同学習の戦略は、上記の選択肢よりもかなり優れていることを示す。この単純なアプローチにより、アノテーションの予算を不確実な言語に問い合わせることによって、モデルがデータ効率を向上できることを示す。
論文参考訳（メタデータ） (2022-04-03T07:42:13Z)
Models and Datasets for Cross-Lingual Summarisation [78.56238251185214]
対象言語における多文要約に関連付けられたソース言語において,長い文書を含む言語間要約コーパスを提案する。コーパスは、チェコ語、英語、フランス語、ドイツ語の4つの言語について、12の言語対と指示をカバーしている。言語対応のウィキペディアのタイトルから、主節と記事の本体を組み合わせることで、ウィキペディアから言語横断的な文書要約インスタンスを導出する。
論文参考訳（メタデータ） (2022-02-19T11:55:40Z)
Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文参考訳（メタデータ） (2021-06-16T18:13:55Z)
Multilingual Byte2Speech Text-To-Speech Models Are Few-shot Spoken Language Learners [11.190877290770047]
本稿では、バイト入力をスペクトログラムにマッピングし、任意の入力スクリプトを可能にする多言語用エンドツーエンドテキスト合成フレームワークを提案する。このフレームワークは、極端に低リソースのシナリオ下で、様々な新しい言語に適応する能力を示す。多言語モデルのメカニズムをよりよく理解するために,言語固有のサブネットワークを抽出する新しい手法を提案する。
論文参考訳（メタデータ） (2021-03-05T08:41:45Z)
Multilingual and cross-lingual document classification: A meta-learning approach [24.66829920826166]
本稿では,文書分類におけるメタラーニング手法を提案する。提案手法の有効性は2つの設定で示される:少数ショット,未確認言語への言語間適応,多言語共同訓練である。
論文参考訳（メタデータ） (2021-01-27T10:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。