論文の概要: Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
- arxiv url: http://arxiv.org/abs/2409.02347v1
- Date: Wed, 4 Sep 2024 00:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:51:59.781208
- Title: Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
- Title（参考訳）: 重み付き選択と多次元スケーリングによる重み付けにおける機能的多様性の役割の理解
- Authors: Alex Rojas, David Alvarez-Melis,
- Abstract要約: 性能力学と各手法が機能的に多様な要素をどう適用するかという特性を関連付けるために,2つの新しい重み認識手法を導入する。
そこで我々は,各アルゴリズムがペアワイズ距離で定義された様々な領域を探索し,選択とアルゴリズムの収束をさらに調査する可視化ツールを開発した。
- 参考スコア（独自算出の注目度）: 7.535219325248997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight-ensembles are formed when the parameters of multiple neural networks are directly averaged into a single model. They have demonstrated generalization capability in-distribution (ID) and out-of-distribution (OOD) which is not completely understood, though they are thought to successfully exploit functional diversity allotted by each distinct model. Given a collection of models, it is also unclear which combination leads to the optimal weight-ensemble; the SOTA is a linear-time ``greedy" method. We introduce two novel weight-ensembling approaches to study the link between performance dynamics and the nature of how each method decides to use apply the functionally diverse components, akin to diversity-encouragement in the prediction-ensemble literature. We develop a visualization tool to explain how each algorithm explores various domains defined via pairwise-distances to further investigate selection and algorithms' convergence. Empirical analyses shed perspectives which reinforce how high-diversity enhances weight-ensembling while qualifying the extent to which diversity alone improves accuracy. We also demonstrate that sampling positionally distinct models can contribute just as meaningfully to improvements in a weight-ensemble.
- Abstract（参考訳）: 重みのアンサンブルは、複数のニューラルネットワークのパラメータが1つのモデルに直接平均化されるときに形成される。
彼らは、各異なるモデルによって割り当てられた機能的多様性をうまく活用できると考えられているが、完全には理解されていない一般化能力(ID)とアウト・オブ・ディストリビューション(OOD)を実証した。
モデルの集合を考えると、どの組み合わせが最適なウェイトアンサンブルにつながるかは不明であり、SOTAは線形時間 ``greedy' 法である。
本稿では,性能のダイナミクスと各手法がどのように利用するかという特性の関連性を検討するために,2つの新しい重み付け手法を提案する。
そこで我々は,各アルゴリズムがペアワイズ距離で定義された様々な領域を探索し,選択とアルゴリズムの収束をさらに調査する可視化ツールを開発した。
経験的分析は、多様性だけで精度が向上する程度を測りながら、高多様性が重み付けを高めることを強化する視点を隠した。
また, 重みアンサンブルの改良に同様に, 位置別モデルのサンプリングが有意に寄与することを示した。
関連論文リスト
- Comparative Analysis of Indicators for Multiobjective Diversity Optimization [0.2144088660722956]
我々は,多目的の指標に基づく進化アルゴリズム(IBEA)の観点から,多様な多様性指標について論じる。
種の単調性など,これらの指標の理論的,計算的,実用的性質について検討する。
我々は、Riesz s-Energy Subset Selection ProblemのNP-hardnessの証明を含む新しい定理を提案する。
論文 参考訳（メタデータ） (2024-10-24T16:40:36Z) - Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。
OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。
これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2024-03-24T18:43:04Z) - Multi-Symmetry Ensembles: Improving Diversity and Generalization via
Opposing Symmetries [14.219011458423363]
我々は,対称性軸に沿った仮説の多重性を捉えることで,多様なアンサンブルを構築するためのフレームワークであるマルチサイメトリ・アンサンブル(MSE)を提案する。
MSEは、ImageNetのような大規模で多様なデータセットでしばしば必要とされる矛盾する仮説の多重性を効果的にキャプチャする。
その固有の多様性の結果、MSEは分類性能、不確実な定量化、一連の伝達タスクの一般化を改善している。
論文 参考訳（メタデータ） (2023-03-04T19:11:54Z) - Interpretable Diversity Analysis: Visualizing Feature Representations In
Low-Cost Ensembles [0.0]
本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。
2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
論文 参考訳（メタデータ） (2023-02-12T00:32:03Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳（メタデータ） (2020-11-17T12:39:44Z) - Universal Weighting Metric Learning for Cross-Modal Matching [79.32133554506122]
クロスモーダルマッチングは、視覚領域と言語領域の両方において、注目すべき研究トピックである。
クロスモーダルマッチングのためのシンプルで解釈可能な普遍重み付けフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-07T13:16:45Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。