論文の概要: Dynamic Post-Hoc Neural Ensemblers

• arxiv url: http://arxiv.org/abs/2410.04520v1
• Date: Sun, 6 Oct 2024 15:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 06:56:10.205937
• Title: Dynamic Post-Hoc Neural Ensemblers
• Title（参考訳）: 動的ホック後ニューラルエンサンブラ
• Authors: Sebastian Pineda Arango, Maciej Janowski, Lennart Purucker, Arber Zela, Frank Hutter, Josif Grabocka,
• Abstract要約: 本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
• 参考スコア（独自算出の注目度）: 55.15643209328513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble methods are known for enhancing the accuracy and robustness of machine learning models by combining multiple base learners. However, standard approaches like greedy or random ensembles often fall short, as they assume a constant weight across samples for the ensemble members. This can limit expressiveness and hinder performance when aggregating the ensemble predictions. In this study, we explore employing neural networks as ensemble methods, emphasizing the significance of dynamic ensembling to leverage diverse model predictions adaptively. Motivated by the risk of learning low-diversity ensembles, we propose regularizing the model by randomly dropping base model predictions during the training. We demonstrate this approach lower bounds the diversity within the ensemble, reducing overfitting and improving generalization capabilities. Our experiments showcase that the dynamic neural ensemblers yield competitive results compared to strong baselines in computer vision, natural language processing, and tabular data.
• Abstract（参考訳）: アンサンブル法は、複数のベースラーナーを組み合わせることで、機械学習モデルの精度と堅牢性を高めることが知られている。 しかし、グリーディやランダムアンサンブルのような標準的なアプローチは、アンサンブルメンバーのサンプル間で一定の重みを仮定するため、しばしば不足する。 これにより、アンサンブル予測の集約時に表現性を制限することができ、性能を損なうことができる。 本研究では,様々なモデル予測を適応的に活用するために,動的アンサンブルの重要性を強調し,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクにより、トレーニング中にベースモデル予測をランダムにドロップすることでモデルを正規化することを提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。 実験では, コンピュータビジョン, 自然言語処理, 表計算データにおいて, 強健なベースラインと比較して, 動的ニューラルアンサンブラが競争力を発揮することを示した。

関連論文リスト

• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Aggregated f-average Neural Network for Interpretable Ensembling [25.818919790407016]
  本稿では,弱い学習者の予測を最適に集約するために,異なる種類の平均をモデル化し,組み合わせる,集約されたf平均(AFA)浅部ニューラルネットワークを提案する。 我々は、その解釈可能なアーキテクチャと単純なトレーニング戦略を強調し、その優れたパフォーマンスを、数発のクラスインクリメンタルラーニングの問題に立証する。
  論文  参考訳（メタデータ） (2023-10-09T09:43:08Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Sequential Bayesian Neural Subnetwork Ensembles [4.6354120722975125]
  本稿では、トレーニング過程を通じてモデルの複雑さを一貫して維持する動的ベイズニューラルワークのシーケンシャルアンサンブルに対するアプローチを提案する。 提案手法は,予測精度,不確実性推定,アウト・オブ・ディストリビューション検出,および対向ロバスト性の観点から,従来の密度決定モデルとスパース決定モデル,ベイズアンサンブルモデルより優れる。
  論文  参考訳（メタデータ） (2022-06-01T22:57:52Z)
• Orthogonal Ensemble Networks for Biomedical Image Segmentation [10.011414604407681]
  モデル多様性を明示する新しいフレームワークであるOrthogonal Ensemble Networks (OEN)を紹介する。 提案手法を2つの課題脳病変セグメンテーションタスクでベンチマークする。 実験結果から,本手法はより頑健でよく校正されたアンサンブルモデルを生成することが示された。
  論文  参考訳（メタデータ） (2021-05-22T23:44:55Z)
• The Role of Isomorphism Classes in Multi-Relational Datasets [6.419762264544509]
  アイソモーフィックリークは,マルチリレーショナル推論の性能を過大評価することを示す。 モデル評価のためのアイソモーフィック・アウェア・シンセサイティング・ベンチマークを提案する。 また、同型類は単純な優先順位付けスキームによって利用することができることを示した。
  論文  参考訳（メタデータ） (2020-09-30T12:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。