論文の概要: Comparison between parameter-efficient techniques and full fine-tuning: A case study on multilingual news article classification

• arxiv url: http://arxiv.org/abs/2308.07282v2
• Date: Mon, 8 Apr 2024 13:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 04:57:43.093486
• Title: Comparison between parameter-efficient techniques and full fine-tuning: A case study on multilingual news article classification
• Title（参考訳）: パラメータ効率とフル微調整の比較:多言語ニュース記事分類のケーススタディ
• Authors: Olesya Razuvayevskaya, Ben Wu, Joao A. Leite, Freddy Heppell, Ivan Srba, Carolina Scarton, Kalina Bontcheva, Xingyi Song,
• Abstract要約: Adapters and Low-Rank Adaptation (LoRA)は、言語モデルのトレーニングをより効率的にするために設計されたパラメータ効率の良い微調整技術である。 過去の結果は,これらの手法がいくつかの分類タスクの性能を向上させることさえできることを示した。 本稿では,これらの手法が完全微調整と比較して分類性能と計算コストに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 4.498100922387482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapters and Low-Rank Adaptation (LoRA) are parameter-efficient fine-tuning techniques designed to make the training of language models more efficient. Previous results demonstrated that these methods can even improve performance on some classification tasks. This paper complements the existing research by investigating how these techniques influence the classification performance and computation costs compared to full fine-tuning when applied to multilingual text classification tasks (genre, framing, and persuasion techniques detection; with different input lengths, number of predicted classes and classification difficulty), some of which have limited training data. In addition, we conduct in-depth analyses of their efficacy across different training scenarios (training on the original multilingual data; on the translations into English; and on a subset of English-only data) and different languages. Our findings provide valuable insights into the applicability of the parameter-efficient fine-tuning techniques, particularly to complex multilingual and multilabel classification tasks.
• Abstract（参考訳）: Adapters and Low-Rank Adaptation (LoRA)は、言語モデルのトレーニングをより効率的にするために設計されたパラメータ効率の良い微調整技術である。 過去の結果は,これらの手法がいくつかの分類タスクの性能を向上させることさえできることを示した。 本稿では,これらの手法が多言語テキスト分類タスク(ジェネリクス,フレーミング,パースエンス技術,入力長,予測クラス数,分類困難度)に適用した場合の完全微調整と比較して,分類性能と計算コストにどのように影響するかを考察することによって,既存の研究を補完する。 さらに、異なる訓練シナリオ(元の多言語データ、英語への翻訳、英語のみのデータの一部)と異なる言語で、それらの効果を詳細に分析する。 本研究は,パラメータ効率の高い微調整技術,特に複雑な多言語・多ラベル分類タスクの適用性に関する貴重な知見を提供する。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Hierarchical Classification of Transversal Skills in Job Ads Based on Sentence Embeddings [0.0]
  本稿では,求人広告要件とスキルセットの相関関係をディープラーニングモデルを用いて同定することを目的とする。 このアプローチには、ESCO(European Skills, Competences, Occupations)分類を使用したデータ収集、事前処理、ラベル付けが含まれる。
  論文  参考訳（メタデータ） (2024-01-10T11:07:32Z)
• Comparative Analysis of Multilingual Text Classification & Identification through Deep Learning and Embedding Visualization [0.0]
  この研究では、17の言語を含むデータセットにLangDetect、LangId、FastText、Sentence Transformerを採用している。 FastText多層パーセプトロンモデルは、精度、精度、リコール、F1スコアを達成し、Sentence Transformerモデルを上回った。
  論文  参考訳（メタデータ） (2023-12-06T12:03:27Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Sample Efficient Approaches for Idiomaticity Detection [6.481818246474555]
  本研究は, 慣用性検出の効率的な手法を探索する。 特に,いくつかの分類法であるPET(Pattern Exploit Training)と,文脈埋め込みの効率的な方法であるBERTRAM(BERTRAM)の影響について検討した。 実験の結果,PETは英語のパフォーマンスを向上するが,ポルトガル語やガリシア語では効果が低下し,バニラmBERTと同程度の総合的な性能が得られた。
  論文  参考訳（メタデータ） (2022-05-23T13:46:35Z)
• Exploring Dimensionality Reduction Techniques in Multilingual Transformers [64.78260098263489]
  本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。 これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
  論文  参考訳（メタデータ） (2022-04-18T17:20:55Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Cross-lingual Text Classification with Heterogeneous Graph Neural Network [2.6936806968297913]
  言語間テキスト分類は、ソース言語上の分類器を訓練し、その知識を対象言語に伝達することを目的としている。 近年の多言語事前学習言語モデル (mPLM) は言語間分類タスクにおいて顕著な結果をもたらす。 言語間テキスト分類のための言語内および言語間における異種情報を統合するための,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-24T12:45:42Z)
• Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models [63.92643612630657]
  本稿では、損失関数幾何学のレンズを通して多言語最適化のブラックボックスを覗き込もうとする。 最適化軌道に沿って測定された勾配類似性は重要な信号であり、言語近接とよく相関している。 そこで我々はGradient Vaccineというシンプルでスケーラブルな最適化手法を考案した。
  論文  参考訳（メタデータ） (2020-10-12T17:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。