論文の概要: How Good is a Single Basin?
- arxiv url: http://arxiv.org/abs/2402.03187v1
- Date: Mon, 5 Feb 2024 16:51:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 14:41:42.136467
- Title: How Good is a Single Basin?
- Title（参考訳）: 単一の盆地はどのくらい良いか?
- Authors: Kai Lion, Lorenzo Noci, Thomas Hofmann, Gregor Bachmann
- Abstract要約: 接続性の増加は、確かにパフォーマンスに悪影響を及ぼす。
しかし, 蒸留によって他の盆地からの知識を暗黙的に取り入れた場合, 性能差を緩和できることを示す。
我々は、任意の盆地に少なくとも部分的には存在するが、他の盆地から学ばなければ容易に利用できないと推測する。
- 参考スコア（独自算出の注目度）: 36.892273709332954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The multi-modal nature of neural loss landscapes is often considered to be
the main driver behind the empirical success of deep ensembles. In this work,
we probe this belief by constructing various "connected" ensembles which are
restricted to lie in the same basin. Through our experiments, we demonstrate
that increased connectivity indeed negatively impacts performance. However,
when incorporating the knowledge from other basins implicitly through
distillation, we show that the gap in performance can be mitigated by
re-discovering (multi-basin) deep ensembles within a single basin. Thus, we
conjecture that while the extra-basin knowledge is at least partially present
in any given basin, it cannot be easily harnessed without learning it from
other basins.
- Abstract（参考訳）: ニューラルロスランドスケープのマルチモーダルな性質は、深層アンサンブルの実証的成功の背後にある主要な要因であると考えられている。
そこで本研究では,同一盆地内に存在するように制限された様々な「連結」アンサンブルを構築することにより,この信念を探究する。
実験を通して、接続性の増加が性能に悪影響を及ぼすことを示した。
しかし, 蒸留により他の盆地からの知識を暗黙的に取り入れた場合, 単一盆地内での深層アンサンブルの再発見により, 性能差を緩和できることが示唆された。
したがって,任意の盆地に少なくとも一部存在するが,他の盆地から学ばなければ容易には活用できないと推測する。
関連論文リスト
- Deep Ensembles Secretly Perform Empirical Bayes [24.94944362766761]
深層アンサンブルは暗黙的に学習されたデータに依存した後部でベイズ平均化を行うことを示す。
この観点は2つの大きな利点をもたらす: (i) 深いアンサンブルを理論的に正当化し、その強い経験的性能の説明を与える; (ii) 学習された事前の検査は、それが点質量の混合によって与えられることを明らかにする。
論文 参考訳（メタデータ） (2025-01-29T19:00:01Z) - What's the Harm? Sharp Bounds on the Fraction Negatively Affected by
Treatment [58.442274475425144]
我々は,これらの関数がどの程度の速さで学習されたかに関わらず,効率の良い頑健な推論アルゴリズムを開発した。
シミュレーション研究および失業者のキャリアカウンセリングのケーススタディにおいて,本手法を実証する。
論文 参考訳（メタデータ） (2022-05-20T17:36:33Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - Repulsive Deep Ensembles are Bayesian [6.544954579068863]
ディープアンサンブルの更新規則にカーネル化された反発項を導入する。
この単純な修正は、メンバー間の多様性を強制し維持するだけでなく、さらに重要なことは、最大後の推論を適切なベイズ推論に変換することである。
論文 参考訳（メタデータ） (2021-06-22T09:50:28Z) - Towards Understanding Ensemble, Knowledge Distillation and
Self-Distillation in Deep Learning [93.18238573921629]
本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。
深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。
また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
論文 参考訳（メタデータ） (2020-12-17T18:34:45Z) - Almost-Matching-Exactly for Treatment Effect Estimation under Network
Interference [73.23326654892963]
本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。
本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
論文 参考訳（メタデータ） (2020-03-02T15:21:20Z) - Hydra: Preserving Ensemble Diversity for Model Distillation [46.677567663908185]
モデルのアンサンブルは、予測性能を改善し、不確実性の堅牢な測定値を得るために経験的に示されている。
最近の研究は、アンサンブルを単一コンパクトモデルに蒸留することに集中しており、アンサンブルの計算と記憶の負担を軽減している。
本稿では,Hydraと呼ぶ単一マルチヘッドニューラルネットワークに基づく蒸留手法を提案する。
論文 参考訳（メタデータ） (2020-01-14T10:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。