論文の概要: Differentiable Model Selection for Ensemble Learning

• arxiv url: http://arxiv.org/abs/2211.00251v2
• Date: Fri, 19 May 2023 16:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 19:32:17.997038
• Title: Differentiable Model Selection for Ensemble Learning
• Title（参考訳）: 組立学習のための微分モデル選択
• Authors: James Kotary, Vincenzo Di Vito, Ferdinando Fioretto
• Abstract要約: 本稿では、機械学習と最適化を統合した微分可能なモデル選択のための新しいフレームワークを提案する。 このフレームワークは、個々の事前学習されたモデルの出力を組み合わせて、特定の入力サンプルに対して適切なアンサンブルメンバーを選択する戦略であるアンサンブル学習用に調整されている。
• 参考スコア（独自算出の注目度）: 37.99501959301896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model selection is a strategy aimed at creating accurate and robust models. A key challenge in designing these algorithms is identifying the optimal model for classifying any particular input sample. This paper addresses this challenge and proposes a novel framework for differentiable model selection integrating machine learning and combinatorial optimization. The framework is tailored for ensemble learning, a strategy that combines the outputs of individually pre-trained models, and learns to select appropriate ensemble members for a particular input sample by transforming the ensemble learning task into a differentiable selection program trained end-to-end within the ensemble learning model. Tested on various tasks, the proposed framework demonstrates its versatility and effectiveness, outperforming conventional and advanced consensus rules across a variety of settings and learning tasks.
• Abstract（参考訳）: モデル選択は、正確で堅牢なモデルを作成するための戦略である。 これらのアルゴリズムを設計する上で重要な課題は、特定の入力サンプルを分類する最適なモデルを特定することである。 本稿では,機械学習と組合せ最適化を融合した微分可能なモデル選択のための新しいフレームワークを提案する。 このフレームワークは、個別に事前学習されたモデルの出力を結合したアンサンブル学習用に調整され、アンサンブル学習タスクをアンサンブル学習モデル内の微分可能な選択プログラム訓練エンドツーエンドに変換することにより、特定の入力サンプルの適切なアンサンブルメンバを選択することを学ぶ。 提案したフレームワークは様々なタスクでテストし、その汎用性と有効性を示し、様々な設定や学習タスクにおいて従来および先進的なコンセンサスルールより優れている。

関連論文リスト

• Hit the Sweet Spot! Span-Level Ensemble for Large Language Models [8.34562564266839]
  本研究では,リアルタイム調整の必要性と正確なアンサンブル決定に必要な情報とを効果的にバランスさせるスパンレベルアンサンブル手法であるSweetSpanを提案する。 まず、各候補モデルを独立して共有プレフィックスに基づいて候補スパンを生成する。 第二に、難易度スコアを計算して、候補モデル間の相互評価を容易にし、不誠実なスコアを抽出してロバストなスパン選択を実現する。
  論文  参考訳（メタデータ） (2024-09-27T09:41:29Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• A tutorial on learning from preferences and choices with Gaussian Processes [0.7234862895932991]
  このチュートリアルは、既存の文献の特定のギャップに対処する新しいGPベースのモデルを導入しながら、確立された研究の上に構築されている。 このフレームワークは、ランダムなユーティリティモデル、識別の限界、およびオブジェクトとラベルの両方に矛盾するユーティリティを持つシナリオを含む嗜好学習モデルの構築を可能にする。
  論文  参考訳（メタデータ） (2024-03-18T13:40:48Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Data-Free Diversity-Based Ensemble Selection For One-Shot Federated Learning in Machine Learning Model Market [2.9046424358155236]
  単発フェデレーション学習によって生成されるモデルのアンサンブル選択問題に対処するため,DeDESと呼ばれるデータ自由多様性に基づく新しい手法を提案する。 提案手法は、5つのデータセットと4つの異なるモデル構造よりも優れた性能と高い効率を実現することができる。
  論文  参考訳（メタデータ） (2023-02-23T02:36:27Z)
• Autoselection of the Ensemble of Convolutional Neural Networks with Second-Order Cone Programming [0.8029049649310213]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。 提案手法は, CIFAR-10, CIFAR-100 および MNIST データセットで検証される。
  論文  参考訳（メタデータ） (2023-02-12T16:18:06Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Auxiliary Class Based Multiple Choice Learning [0.0]
  本稿では,Auxiliary class based Multiple Choice Learning (AMCL) と呼ばれる高度なアンサンブル手法を提案する。 AMCLのパフォーマンスは、アンサンブルのメンバーとしてさまざまなネットワークでトレーニングされた公開データセットのほとんどで、他のすべてのものよりも優れています。
  論文  参考訳（メタデータ） (2021-08-06T05:55:46Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。