論文の概要: Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles

• arxiv url: http://arxiv.org/abs/2302.05822v1
• Date: Sun, 12 Feb 2023 00:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:25:57.497072
• Title: Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles
• Title（参考訳）: 解釈可能な多様性分析:低コストアンサンブルにおける特徴表現の可視化
• Authors: Tim Whitaker, Darrell Whitley
• Abstract要約: 本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。 2つの低コストアンサンブルアルゴリズムを用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diversity is an important consideration in the construction of robust neural network ensembles. A collection of well trained models will generalize better if they are diverse in the patterns they respond to and the predictions they make. Diversity is especially important for low-cost ensemble methods because members often share network structure in order to avoid training several independent models from scratch. Diversity is traditionally analyzed by measuring differences between the outputs of models. However, this gives little insight into how knowledge representations differ between ensemble members. This paper introduces several interpretability methods that can be used to qualitatively analyze diversity. We demonstrate these techniques by comparing the diversity of feature representations between child networks using two low-cost ensemble algorithms, Snapshot Ensembles and Prune and Tune Ensembles. We use the same pre-trained parent network as a starting point for both methods which allows us to explore how feature representations evolve over time. This approach to diversity analysis can lead to valuable insights and new perspectives for how we measure and promote diversity in ensemble methods.
• Abstract（参考訳）: 多様性はロバストなニューラルネットワークアンサンブルの構築において重要な考慮事項である。 十分に訓練されたモデルの集合は、応答するパターンや予測が多様であれば、より一般化されるでしょう。 なぜなら、メンバーは、複数の独立したモデルをスクラッチからトレーニングすることを避けるために、しばしばネットワーク構造を共有するためである。 多様性は伝統的にモデルの出力間の差を測定することによって分析される。 しかし、これは知識表現がアンサンブルメンバー間でどのように異なるかについての洞察をほとんど与えない。 本稿では,多様性を定性的に分析できるいくつかの解釈可能性手法を提案する。 本研究では,2つの低コストアンサンブルアルゴリズムであるSnapshot Ensembles と Prune と Tune Ensembles を用いて,子ネットワーク間の特徴表現の多様性を比較することによって,これらの手法を実証する。 両方のメソッドの出発点として、同じ事前学習された親ネットワークを使用し、機能表現が時間とともにどのように進化するかを探求できます。 多様性分析へのこのアプローチは、アンサンブル手法における多様性の計測と促進のための貴重な洞察と新しい視点をもたらす可能性がある。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling [7.535219325248997]
  性能力学と各手法が機能的に多様な要素をどう適用するかという特性を関連付けるために,2つの新しい重み認識手法を導入する。 そこで我々は,各アルゴリズムがペアワイズ距離で定義された様々な領域を探索し,選択とアルゴリズムの収束をさらに調査する可視化ツールを開発した。
  論文  参考訳（メタデータ） (2024-09-04T00:24:57Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
  本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。 本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
  論文  参考訳（メタデータ） (2023-03-16T09:14:26Z)
• Pathologies of Predictive Diversity in Deep Ensembles [29.893614175153235]
  古典的な結果は、予測多様性の促進が低容量モデルのアンサンブルのパフォーマンスを向上させることを証明している。 ここでは、これらの直観が高容量ニューラルネットワークアンサンブル(ディープアンサンブル)には適用されないことを示す。
  論文  参考訳（メタデータ） (2023-02-01T19:01:18Z)
• Diversity and Generalization in Neural Network Ensembles [0.0]
  これまでに公表された結果を、多様性とアンサンブルのパフォーマンスの関係を記述した理論的に健全な枠組みで組み合わせて拡張する。 多様性を測定する方法、多様性がアンサンブルの一般化誤差とどのように関係しているか、そして、ニューラルネットワークアンサンブルアルゴリズムによって多様性が促進されるか、といった質問に対して、音声による回答を提供する。
  論文  参考訳（メタデータ） (2021-10-26T15:41:10Z)
• Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity [6.495473856599276]
  アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。 学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。 最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
  論文  参考訳（メタデータ） (2021-09-29T00:43:57Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Variational Inference for Deep Probabilistic Canonical Correlation Analysis [49.36636239154184]
  線形多視点層と深層生成ネットワークを観測モデルとして構成した深部確率的多視点モデルを提案する。 潜在確率多視点層の後方分布を近似した効率的な変分推論法を開発した。 任意の数のビューを持つモデルへの一般化も提案されている。
  論文  参考訳（メタデータ） (2020-03-09T17:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。