論文の概要: Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching

• arxiv url: http://arxiv.org/abs/2412.01193v1
• Date: Mon, 02 Dec 2024 06:52:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:31.311743
• Title: Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching
• Title（参考訳）: ダイバージェントアンサンブルネットワーク:共有表現と独立分岐による不確実性推定の強化
• Authors: Arnav Kharbanda, Advait Chandorkar,
• Abstract要約: Divergent Ensemble Network (DEN)は、共有表現学習と独立分岐を組み合わせた新しいアーキテクチャである。 DENは共有入力層を使用して、すべてのブランチに共通する特徴をキャプチャし、続いて、アンサンブルを形成する独立したトレーニング可能な層を分離する。 この共有分岐構造は、アンサンブルの多様性を維持しながらパラメータの冗長性を低減し、効率的でスケーラブルな学習を可能にする。
• 参考スコア（独自算出の注目度）: 0.9963916732353794
• License:
• Abstract: Ensemble learning has proven effective in improving predictive performance and estimating uncertainty in neural networks. However, conventional ensemble methods often suffer from redundant parameter usage and computational inefficiencies due to entirely independent network training. To address these challenges, we propose the Divergent Ensemble Network (DEN), a novel architecture that combines shared representation learning with independent branching. DEN employs a shared input layer to capture common features across all branches, followed by divergent, independently trainable layers that form an ensemble. This shared-to-branching structure reduces parameter redundancy while maintaining ensemble diversity, enabling efficient and scalable learning.
• Abstract（参考訳）: アンサンブル学習は、予測性能を改善し、ニューラルネットワークの不確実性を推定するのに有効であることが証明されている。 しかし、従来のアンサンブル法は、完全に独立したネットワークトレーニングのため、冗長なパラメータの使用や計算不効率に悩まされることが多い。 これらの課題に対処するために、共有表現学習と独立分岐を組み合わせた新しいアーキテクチャであるDEN(Divergent Ensemble Network)を提案する。 DENは共有入力層を使用して、すべてのブランチに共通する特徴をキャプチャし、続いて、アンサンブルを形成する独立したトレーニング可能な層を分離する。 この共有分岐構造は、アンサンブルの多様性を維持しながらパラメータの冗長性を低減し、効率的でスケーラブルな学習を可能にする。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• On Multi-head Ensemble of Smoothed Classifiers for Certified Robustness [25.021346715099863]
  ランダム化平滑化(Randomized Smoothing, RRS)は,ロバスト性認定のための有望な手法である。 本研究では,複数の頭部を持つネットワークを拡張し,それぞれがアンサンブルの分類器を含む。 新たなトレーニング戦略として,SPACTE(Self-PAced Circular-Teaching)が提案されている。
  論文  参考訳（メタデータ） (2022-11-20T06:31:53Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• An Ensemble with Shared Representations Based on Convolutional Networks for Continually Learning Facial Expressions [19.72032908764253]
  アンサンブル予測による半教師付き学習は、人間とロボットの相互作用中に不規則な表情の高い露出を利用するための効率的な戦略です。 伝統的なアンサンブルベースのシステムは、高い冗長性につながる複数の独立した分類器で構成されています。 提案手法は, 異なるデータ分布から抽出したアンサンブルサンプルを用いて, 表情を連続的に学習できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T20:40:52Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• Efficient Facial Feature Learning with Wide Ensemble-based Convolutional Neural Networks [20.09586211332088]
  畳み込みネットワークに基づく共有表現を用いたアンサンブル実験について述べる。 本研究では,ESRの分岐レベルを変化させることで,冗長性と計算負荷を劇的に低減できることを示す。 大規模なデータセットの実験では、ESRは残余の一般化誤差を減らすことが示唆されている。
  論文  参考訳（メタデータ） (2020-01-17T14:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。