論文の概要: A Margin-Maximizing Fine-Grained Ensemble Method

• arxiv url: http://arxiv.org/abs/2409.12849v1
• Date: Thu, 19 Sep 2024 15:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:10:09.686760
• Title: A Margin-Maximizing Fine-Grained Ensemble Method
• Title（参考訳）: Margin-Maximizing Fine-Grained Ensemble 法
• Authors: Jinghui Yuan, Hao Chen, Renwei Luo, Feiping Nie,
• Abstract要約: マルジン最大化ファイングラインドアンサンブル法(Margin-Maximizing Fine-Grained Ensemble Method)を提案する。 少数の学習者を巧みに最適化し、一般化能力を向上させることで、大規模アンサンブルを超えるパフォーマンスを実現する。 本手法は,基礎学習者の10分の1と,他の最先端のアンサンブル手法を用いて,従来のランダム林よりも優れていた。
• 参考スコア（独自算出の注目度）: 42.44032031918387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning has achieved remarkable success in machine learning, but its reliance on numerous base learners limits its application in resource-constrained environments. This paper introduces an innovative "Margin-Maximizing Fine-Grained Ensemble Method" that achieves performance surpassing large-scale ensembles by meticulously optimizing a small number of learners and enhancing generalization capability. We propose a novel learnable confidence matrix, quantifying each classifier's confidence for each category, precisely capturing category-specific advantages of individual learners. Furthermore, we design a margin-based loss function, constructing a smooth and partially convex objective using the logsumexp technique. This approach improves optimization, eases convergence, and enables adaptive confidence allocation. Finally, we prove that the loss function is Lipschitz continuous, based on which we develop an efficient gradient optimization algorithm that simultaneously maximizes margins and dynamically adjusts learner weights. Extensive experiments demonstrate that our method outperforms traditional random forests using only one-tenth of the base learners and other state-of-the-art ensemble methods.
• Abstract（参考訳）: アンサンブル学習は機械学習において顕著な成功を収めてきたが、多くの基礎学習者への依存はリソース制約のある環境における応用を制限する。 本稿では,少数の学習者を巧みに最適化し,一般化能力を向上させることで,大規模アンサンブルを超える性能を実現する革新的な「Margin-Maximizing Fine-Grained Ensemble Method」を提案する。 本稿では,各カテゴリに対する各カテゴリの信頼度を定量化し,個別学習者のカテゴリ固有の利点を正確に把握する,新しい学習可能な信頼度行列を提案する。 さらに,logsumexp法を用いて,スムーズかつ部分的に凸な目的物を構成するマージンに基づく損失関数を設計する。 このアプローチは最適化を改善し、収束を緩和し、適応的な信頼性割り当てを可能にする。 最後に、損失関数がLipschitz連続であることを証明する。このアルゴリズムは、マージンを同時に最大化し、学習者の重みを動的に調整する効率的な勾配最適化アルゴリズムを開発する。 大規模な実験により,本手法は,基礎学習者の10分の1と他の最先端のアンサンブル手法を用いて,従来のランダム林よりも優れていることが示された。

関連論文リスト

• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Context-Aware Ensemble Learning for Time Series [11.716677452529114]
  本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。 我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
  論文  参考訳（メタデータ） (2022-11-30T10:36:13Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
  本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。 古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。 我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
  論文  参考訳（メタデータ） (2020-03-04T15:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。