論文の概要: Lift What You Can: Green Online Learning with Heterogeneous Ensembles

• arxiv url: http://arxiv.org/abs/2509.18962v1
• Date: Tue, 23 Sep 2025 13:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.852423
• Title: Lift What You Can: Green Online Learning with Heterogeneous Ensembles
• Title（参考訳）: グリーンオンライン学習と不均質なアンサンブル
• Authors: Kirsten Köbschall, Sebastian Buschjäger, Raphael Fischer, Lisa Hartung, Stefan Kramer,
• Abstract要約: 入力データに基づいてトレーニングするモデルを選択するためのポリシーを提案する。 とりわけ、コスト削減による最適モデルに近いトレーニングに焦点を当てた、新しい$zeta$-policyを提案する。 11のベンチマークデータセットを対象とした実験では、私たちの$zeta$-policyが最先端への強い貢献である、という経験的証拠を見つけました。
• 参考スコア（独自算出の注目度）: 3.5523355921740163
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ensemble methods for stream mining necessitate managing multiple models and updating them as data distributions evolve. Considering the calls for more sustainability, established methods are however not sufficiently considerate of ensemble members' computational expenses and instead overly focus on predictive capabilities. To address these challenges and enable green online learning, we propose heterogeneous online ensembles (HEROS). For every training step, HEROS chooses a subset of models from a pool of models initialized with diverse hyperparameter choices under resource constraints to train. We introduce a Markov decision process to theoretically capture the trade-offs between predictive performance and sustainability constraints. Based on this framework, we present different policies for choosing which models to train on incoming data. Most notably, we propose the novel $\zeta$-policy, which focuses on training near-optimal models at reduced costs. Using a stochastic model, we theoretically prove that our $\zeta$-policy achieves near optimal performance while using fewer resources compared to the best performing policy. In our experiments across 11 benchmark datasets, we find empiric evidence that our $\zeta$-policy is a strong contribution to the state-of-the-art, demonstrating highly accurate performance, in some cases even outperforming competitors, and simultaneously being much more resource-friendly.
• Abstract（参考訳）: ストリームマイニングのためのアンサンブルメソッドは、複数のモデルを管理し、データ分散が進化するにつれてそれらを更新する必要がある。 しかし、より持続可能性を求める要求を考えると、確立された手法は、メンバーの計算コストを十分に考慮せず、予測能力に過度にフォーカスする。 これらの課題に対処し、グリーンオンライン学習を可能にするために、異種オンラインアンサンブル(HEROS)を提案する。 トレーニングステップ毎に、HEROSは、トレーニングするリソース制約の下で、多様なハイパーパラメータ選択で初期化されたモデルのプールからモデルのサブセットを選択する。 予測性能と持続可能性制約のトレードオフを理論的に捉えるためのマルコフ決定プロセスを導入する。 このフレームワークに基づいて、どのモデルを入力データでトレーニングするかを選択するための異なるポリシーを提示します。 とりわけ、コスト削減による準最適モデルのトレーニングに焦点を当てた小説『$\zeta$-policy』を提案する。 確率モデルを用いて、我々の$\zeta$-policyが、最高のパフォーマンスポリシーよりも少ないリソースを使用しながら、ほぼ最適なパフォーマンスを達成することを理論的に証明する。 11のベンチマークデータセットを対象とした実験では、私たちの$\zeta$-policyが最先端技術への強い貢献であり、非常に正確なパフォーマンスを示しています。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework [10.317740844867913]
  我々は,SlimPajamaデータセットから,さまざまなデータ構成を用いて,472言語モデルによる事前学習実行をベースとしたシミュレータを構築した。 単純な取得関数でさえ、20Mから1Bまでのトレーニングモデル間で、原則化されたトレーニング決定を可能にすることを観察する。
  論文  参考訳（メタデータ） (2025-03-26T22:19:47Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [61.145371212636505]
  強化学習(Reinforcement Learning, RL)は、試行錯誤と最適制御を通じてポリシーを学習し、学習または既知の力学モデルを用いてアクションを計画する。 異なる品質のデータセットを用いて、異なるRLおよび制御に基づく手法の性能を系統的に解析する。 モデルベースプランニングは,新しい環境レイアウト,トラジェクトリー縫合,データ効率などへの一般化に優れる。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Online Foundation Model Selection in Robotics [18.65707136264266]
  ファンデーションモデルはコンピュータビジョンと自然言語処理に長けた後、最近ロボット工学に発展した。 効果的で費用がかかるクローズドソースモデルと、無料だがあまりパワフルでないオープンソース代替品のどちらを選ぶかを決めると、どちらのユーザーも問題に直面します。 本稿では,オープンソースのエンコーダと,このコンテキストを処理するオンライン学習アルゴリズムを組み合わせた新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-02-13T16:14:32Z)
• Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment [10.980548731600116]
  本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。 私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。 畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
  論文  参考訳（メタデータ） (2023-09-02T08:40:17Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。