論文の概要: Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning

• arxiv url: http://arxiv.org/abs/2404.04434v1
• Date: Fri, 5 Apr 2024 22:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 21:18:18.370281
• Title: Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning
• Title（参考訳）: 空間的多様性に基づくプルーニングによるロバスト・ファウショット・アンサンブル学習
• Authors: Selim Furkan Tekin, Fatih Ilhan, Tiansheng Huang, Sihao Hu, Ka-Ho Chow, Margaret L. Loper, Ling Liu,
• Abstract要約: 本稿では,焦点多様性に最適化された数発のアンサンブル学習手法であるFusionShotを提案する。 これにより、事前訓練された少数ショットモデルの堅牢性と一般化性能が向上する。 代表的な数ショットベンチマークの実験では、FusionShotが推奨するトップKアンサンブルが、代表的なSOTA数ショットモデルより優れていることが示されている。
• 参考スコア（独自算出の注目度）: 10.551984557040102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents FusionShot, a focal diversity optimized few-shot ensemble learning approach for boosting the robustness and generalization performance of pre-trained few-shot models. The paper makes three original contributions. First, we explore the unique characteristics of few-shot learning to ensemble multiple few-shot (FS) models by creating three alternative fusion channels. Second, we introduce the concept of focal error diversity to learn the most efficient ensemble teaming strategy, rather than assuming that an ensemble of a larger number of base models will outperform those sub-ensembles of smaller size. We develop a focal-diversity ensemble pruning method to effectively prune out the candidate ensembles with low ensemble error diversity and recommend top-$K$ FS ensembles with the highest focal error diversity. Finally, we capture the complex non-linear patterns of ensemble few-shot predictions by designing the learn-to-combine algorithm, which can learn the diverse weight assignments for robust ensemble fusion over different member models. Extensive experiments on representative few-shot benchmarks show that the top-K ensembles recommended by FusionShot can outperform the representative SOTA few-shot models on novel tasks (different distributions and unknown at training), and can prevail over existing few-shot learners in both cross-domain settings and adversarial settings. For reproducibility purposes, FusionShot trained models, results, and code are made available at https://github.com/sftekin/fusionshot
• Abstract（参考訳）: 本稿では,焦点多様性に最適化された複数ショットのアンサンブル学習手法であるFusionShotについて述べる。 論文は3つのオリジナルコントリビューションがある。 まず,3つの代替核融合チャネルを作成することにより,複数の小銃モデル(FS)をアンサンブルするための小銃学習の特徴について検討する。 第二に、より多数のベースモデルのアンサンブルが、より小さなサイズのサブアンサンブルよりも優れていると仮定するのではなく、最も効率的なアンサンブル・チーム戦略を学ぶために焦点誤差の多様性の概念を導入する。 提案手法は,低アンサンブル誤り多様性を持つ候補アンサンブルを効果的にプルークアウトし,最高アンサンブル誤り度の高い上位$K$FSアンサンブルを推奨する。 最後に,多種多様なアンサンブル融合のための多種多様な重み付けを学習する学習対組合せアルゴリズムを設計することにより,アンサンブル数ショット予測の複雑な非線形パターンを捉える。 FusionShotが推奨するトップKアンサンブルは、新しいタスク(異なる分布とトレーニングの未知)において代表的なSOTA数アンサンブルよりも優れており、クロスドメイン設定と逆設定の両方で既存の数アンサンブルよりも優位であることを示している。 再現性のために、FusionShotでトレーニングされたモデル、結果、コードはhttps://github.com/sftekin/fusionshotで公開されている。

関連論文リスト

• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation [70.8833857249951]
  IterCompは、複数のモデルから合成対応モデルの好みを集約する新しいフレームワークである。 クローズドループ方式で構成性を向上する反復的フィードバック学習法を提案する。 IterCompは、拡散モデルと合成生成のための報酬フィードバック学習の新たな研究の道を開く。
  論文  参考訳（メタデータ） (2024-10-09T17:59:13Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Ensemble Making Few-Shot Learning Stronger [4.17701749612924]
  本稿では,差分低減のためのアンサンブル手法について検討し,関係レベルの特徴をキャリブレーションするための微調整と特徴的注意戦略を提案する。 数ショットの相関学習タスクの結果、我々のモデルは従来の最先端モデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-05-12T17:11:10Z)
• Diversity Helps: Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation [21.16237189370515]
  ほんの少しのトレーニング例があれば、新しい概念を学ぶことが目的だ。 本稿では、分散シフトに基づくデータ拡張による教師なしFew-shot Learningと呼ばれる新しいフレームワークを開発する。 実験では、ULDAによって学習された少数ショットモデルにより、より優れた一般化性能が得られる。
  論文  参考訳（メタデータ） (2020-04-13T07:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。