論文の概要: Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method

• arxiv url: http://arxiv.org/abs/2408.02936v2
• Date: Mon, 12 Aug 2024 09:46:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 20:04:01.834672
• Title: Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method
• Title（参考訳）: テンソル最適化によるエンサンブル法
• Authors: Jinghui Yuan, Weijin Jiang, Zhe Cao, Fangyuan Xie, Rong Wang, Feiping Nie, Yuan Yuan,
• Abstract要約: アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
• 参考スコア（独自算出の注目度）: 53.170053108447455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning is a method that leverages weak learners to produce a strong learner. However, obtaining a large number of base learners requires substantial time and computational resources. Therefore, it is meaningful to study how to achieve the performance typically obtained with many base learners using only a few. We argue that to achieve this, it is essential to enhance both classification performance and generalization ability during the ensemble process. To increase model accuracy, each weak base learner needs to be more efficiently integrated. It is observed that different base learners exhibit varying levels of accuracy in predicting different classes. To capitalize on this, we introduce confidence tensors $\tilde{\mathbf{\Theta}}$ and $\tilde{\mathbf{\Theta}}_{rst}$ signifies the degree of confidence that the $t$-th base classifier assigns the sample to class $r$ while it actually belongs to class $s$. To the best of our knowledge, this is the first time an evaluation of the performance of base classifiers across different classes has been proposed. The proposed confidence tensor compensates for the strengths and weaknesses of each base classifier in different classes, enabling the method to achieve superior results with a smaller number of base learners. To enhance generalization performance, we design a smooth and convex objective function that leverages the concept of margin, making the strong learner more discriminative. Furthermore, it is proved that in gradient matrix of the loss function, the sum of each column's elements is zero, allowing us to solve a constrained optimization problem using gradient-based methods. We then compare our algorithm with random forests of ten times the size and other classical methods across numerous datasets, demonstrating the superiority of our approach.
• Abstract（参考訳）: アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 しかし、大量の基礎学習者を得るには、かなりの時間と計算資源が必要である。 そのため,多くの基礎学習者を対象に,ごくわずかの時間で得られる演奏の達成方法を研究することが重要である。 これを実現するためには,アンサンブル過程における分類性能と一般化能力の両立が不可欠である。 モデルの精度を高めるために、各弱いベース学習者はより効率的に統合する必要がある。 異なる学習者に対して,異なるクラスを予測する際に,様々な精度の学習者が現れることが観察された。 これを活用するために、信頼テンソル$\tilde{\mathbf{\Theta}}$および$\tilde{\mathbf{\Theta}}_{rst}$を導入する。 我々の知る限りでは、異なるクラス間での基底分類器の性能評価が提案されたのはこれが初めてである。 提案した信頼度テンソルは,各基本分類器の長所と短所を異なるクラスで補正し,より少ない基礎学習者で優れた結果が得られるようにした。 一般化性能を向上させるために,マージンの概念を生かした円滑で凸な目的関数を設計し,学習者の識別性を向上する。 さらに、損失関数の勾配行列において、各列の要素の和がゼロであることが証明され、勾配法を用いて制約付き最適化問題を解くことができる。 そして、アルゴリズムを10倍の大きさのランダムな森林や、多くのデータセットにまたがる古典的な手法と比較し、アプローチの優位性を実証する。

関連論文リスト

• A Margin-Maximizing Fine-Grained Ensemble Method [42.44032031918387]
  マルジン最大化ファイングラインドアンサンブル法(Margin-Maximizing Fine-Grained Ensemble Method)を提案する。 少数の学習者を巧みに最適化し、一般化能力を向上させることで、大規模アンサンブルを超えるパフォーマンスを実現する。 本手法は,基礎学習者の10分の1と,他の最先端のアンサンブル手法を用いて,従来のランダム林よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-19T15:48:12Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Few-shot Classification via Ensemble Learning with Multi-Order Statistics [9.145742362513932]
  基本クラスにおけるアンサンブル学習を活用することで,新たなクラスにおける真の誤りを低減できることを示す。 本稿では,多階統計を用いたアンサンブル学習法(ELMOS)を提案する。 提案手法は,複数ショットの分類ベンチマークデータセット上で,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-30T11:41:01Z)
• Improving Feature Generalizability with Multitask Learning in Class Incremental Learning [12.632121107536843]
  キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。 CILの最大の課題は、破滅的な忘れ、すなわち、新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。 本稿では,基本モデルトレーニング中のマルチタスク学習による特徴一般化性の向上を提案する。 提案手法は,平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にする。
  論文  参考訳（メタデータ） (2022-04-26T07:47:54Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Class-Incremental Learning with Generative Classifiers [6.570917734205559]
  本稿では,クラス増分学習のための新しい戦略を提案する。 本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。 ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
  論文  参考訳（メタデータ） (2021-04-20T16:26:14Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。