論文の概要: Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model

• arxiv url: http://arxiv.org/abs/2205.11833v1
• Date: Tue, 24 May 2022 06:54:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:56:24.659722
• Title: Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model
• Title（参考訳）: シングルプレトレーニングモデルによる横ロテリティチケットの組み立て
• Authors: Sosuke Kobayashi, Shun Kiyono, Jun Suzuki, Kentaro Inui
• Abstract要約: 本稿では,1つの事前学習モデルの違いを微調整し,それらをアンサンブルするマルチチケット・アンサンブルを提案する。 我々は、入賞チケットが高密度ネットワークよりも多様な予測を生み出し、それらのアンサンブルがいくつかのタスクにおいて標準アンサンブルより優れていたことを実証的に実証した。
• 参考スコア（独自算出の注目度）: 53.52751986887875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembling is a popular method used to improve performance as a last resort. However, ensembling multiple models finetuned from a single pretrained model has been not very effective; this could be due to the lack of diversity among ensemble members. This paper proposes Multi-Ticket Ensemble, which finetunes different subnetworks of a single pretrained model and ensembles them. We empirically demonstrated that winning-ticket subnetworks produced more diverse predictions than dense networks, and their ensemble outperformed the standard ensemble on some tasks.
• Abstract（参考訳）: ensemblingは、最後の手段としてのパフォーマンスを改善するために使用される一般的な方法である。 しかし、1つの事前訓練されたモデルから微調整された複数のモデルをアンサンブルすることは、あまり効果的ではない。 本稿では,事前学習モデルの異なるサブネットワークを微調整し,それらをアンサンブルするマルチticketアンサンブルを提案する。 我々は,勝ち点のサブネットワークが密集したネットワークよりも多様な予測を生み出し,それらのアンサンブルがいくつかのタスクで標準的なアンサンブルを上回ったことを実証した。

関連論文リスト

• Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning [10.551984557040102]
  本稿では,焦点多様性に最適化された数発のアンサンブル学習手法であるFusionShotを提案する。 これにより、事前訓練された少数ショットモデルの堅牢性と一般化性能が向上する。 代表的な数ショットベンチマークの実験では、FusionShotが推奨するトップKアンサンブルが、代表的なSOTA数ショットモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T22:21:49Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models [106.19385911520652]
  Lottery Ticket hypothesis (LTH)とその変種は、パラメーターワークを生成する大規模な事前訓練モデルを作成するために利用されてきた。 LTHは反復的フルトレーニングと反復的マグニチュードプルーニング(IMP)のプルーニングルーチンによって著しく抑制される Instant Soup Pruning (ISP) を提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:09:52Z)
• Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
  古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。 ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
  論文  参考訳（メタデータ） (2023-02-01T19:01:18Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization [65.23099004725461]
  非常に過度にパラメータ化されたモデルにおいて,このようなチケットのコレクションを「勝利チケット」と呼ぶ。 また, ある圧縮比において, 当選チケットの一般化性能は, 一致しただけでなく, フルモデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2021-05-25T15:10:05Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。