論文の概要: Unleashing the power of Neural Collapse for Transferability Estimation

• arxiv url: http://arxiv.org/abs/2310.05754v1
• Date: Mon, 9 Oct 2023 14:30:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 09:10:45.379237
• Title: Unleashing the power of Neural Collapse for Transferability Estimation
• Title（参考訳）: 伝達性推定のための神経崩壊のパワーを解き放つ
• Authors: Yuhe Ding, Bo Jiang, Lijun Sheng, Aihua Zheng, Jian Liang
• Abstract要約: よく訓練されたモデルは神経崩壊の現象を示す。 本稿では、転送可能性推定のためのFair Collapse(FaCe)と呼ばれる新しい手法を提案する。 FaCeは、画像分類、セマンティックセグメンテーション、テキスト分類など、さまざまなタスクにおける最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 42.09673383041276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferability estimation aims to provide heuristics for quantifying how suitable a pre-trained model is for a specific downstream task, without fine-tuning them all. Prior studies have revealed that well-trained models exhibit the phenomenon of Neural Collapse. Based on a widely used neural collapse metric in existing literature, we observe a strong correlation between the neural collapse of pre-trained models and their corresponding fine-tuned models. Inspired by this observation, we propose a novel method termed Fair Collapse (FaCe) for transferability estimation by comprehensively measuring the degree of neural collapse in the pre-trained model. Typically, FaCe comprises two different terms: the variance collapse term, which assesses the class separation and within-class compactness, and the class fairness term, which quantifies the fairness of the pre-trained model towards each class. We investigate FaCe on a variety of pre-trained classification models across different network architectures, source datasets, and training loss functions. Results show that FaCe yields state-of-the-art performance on different tasks including image classification, semantic segmentation, and text classification, which demonstrate the effectiveness and generalization of our method.
• Abstract（参考訳）: Transferability Estimationは、トレーニング済みのモデルが特定の下流タスクにどの程度適しているかを、全てを微調整することなく定量化するためのヒューリスティックを提供することを目的としている。 先行研究では、よく訓練されたモデルが神経崩壊の現象を示すことが示されている。 既存の文献で広く用いられている神経崩壊の指標に基づいて,前訓練モデルの神経崩壊とそれに対応する微調整モデルとの間に強い相関関係が観察された。 本研究は,前訓練モデルにおける神経崩壊度を包括的に測定することにより,伝達可能性推定のためのFair Collapse (FaCe) と呼ばれる新しい手法を提案する。 一般的にfaceは、クラス分離とクラス内コンパクト性を評価するdistribution collapse termと、各クラスに対する事前訓練されたモデルの公平性を定量化するclass fairness termの2つの異なる用語からなる。 本稿では、さまざまなネットワークアーキテクチャ、ソースデータセット、トレーニング損失関数を含む、さまざまなトレーニング済み分類モデルについて検討する。 その結果,FaCeは画像分類,セマンティックセグメンテーション,テキスト分類など,様々なタスクにおける最先端性能を示し,本手法の有効性と一般化を実証した。

関連論文リスト

• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition [35.34238362639678]
  本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。 我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
  論文  参考訳（メタデータ） (2022-11-07T02:33:45Z)
• Memorization-Dilation: Modeling Neural Collapse Under Label Noise [10.134749691813344]
  ディープニューラルネットワークをトレーニングする最終フェーズでは、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向にある。 経験的証拠は、ノイズのあるデータポイントの記憶が神経崩壊の劣化(拡散)を引き起こすことを示唆している。 実験により, ラベルの平滑化が正規化効果を生み出すために経験的に観察された交叉エントロピーの修正が, 分類タスクの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:40:37Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Multi-loss ensemble deep learning for chest X-ray classification [0.8594140167290096]
  クラス不均衡は、異常サンプルの数が正常サンプルの数より少ない医療画像分類タスクでよく見られる。 本稿では,DLモデルを訓練し,その性能を多クラス分類設定で解析する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2021-09-29T14:14:04Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。