論文の概要: Analyzing Bagging Methods for Language Models

• arxiv url: http://arxiv.org/abs/2207.09099v1
• Date: Tue, 19 Jul 2022 06:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:07:47.199022
• Title: Analyzing Bagging Methods for Language Models
• Title（参考訳）: 言語モデルのためのバギング手法の解析
• Authors: Pranab Islam, Shaan Khosla, Arthur Lok, Mudit Saxena
• Abstract要約: 我々は,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズで大まかに等価なタグ付きアンサンブルを比較した。 我々のアンサンブル法は、少なくとも1つのLMベースラインとほぼ同等である。
• 参考スコア（独自算出の注目度）: 0.5161531917413708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models leverage increasingly large numbers of parameters to achieve performance on natural language understanding tasks. Ensembling these models in specific configurations for downstream tasks show even further performance improvements. In this paper, we perform an analysis of bagging language models and compare single language models to bagged ensembles that are roughly equivalent in terms of final model size. We explore an array of model bagging configurations for natural language understanding tasks with final ensemble sizes ranging from 300M parameters to 1.5B parameters and determine that our ensembling methods are at best roughly equivalent to single LM baselines. We note other positive effects of bagging and pruning in specific scenarios according to findings in our experiments such as variance reduction and minor performance improvements.
• Abstract（参考訳）: 現代の言語モデルは、自然言語理解タスクのパフォーマンスを達成するためにますます多くのパラメータを活用している。 下流タスクの特定の設定にこれらのモデルを組み込むと、さらにパフォーマンスが向上する。 本稿では,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズとほぼ同等のタグ付きアンサンブルを比較した。 我々は,300mパラメーターから1.5bパラメーターまでの最終的なアンサンブルサイズを持つ自然言語理解タスクのためのモデルバッキング構成の配列を探索し,提案手法が少なくとも単一のlmベースラインとほぼ同等であることを示す。 分散低減やマイナーな性能改善といった実験の結果に従って,特定のシナリオにおける袋詰めや刈りによる他のポジティブな効果に留意する。

関連論文リスト

• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• Diversity-Aware Ensembling of Language Models Based on Topological Data Analysis [3.1734682813501514]
  既存のアプローチは主に、各モデルに等しい重みを持つアンサンブルによる予測の単純な平均化に依存している。 我々は,NLPモデルのアンサンブルに対する重み付けを,個々の性能の知識だけでなく,互いに類似した知識を用いて推定することを提案する。
  論文  参考訳（メタデータ） (2024-02-22T00:04:21Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting Pre-trained Language Models [22.977852629450346]
  本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。 本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。 実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T23:29:06Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。