論文の概要: From Channel Bias to Feature Redundancy: Uncovering the "Less is More" Principle in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2310.03843v2
• Date: Wed, 10 Sep 2025 10:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 21:32:32.633126
• Title: From Channel Bias to Feature Redundancy: Uncovering the "Less is More" Principle in Few-Shot Learning
• Title（参考訳）: チャネルバイアスから特徴冗長へ:"Less is More"の原則を明らかにする
• Authors: Ji Zhang, Xu Luo, Lianli Gao, Difan Zou, Hengtao Shen, Jingkuan Song,
• Abstract要約: ディープニューラルネットワークは、分散シフト中の新しいタスクへの表現の適応に失敗することが多い。 本稿では、この障害の背後にある中核的な障害であるチャネルバイアスを特定する。 数ショットのタスクでは、最も識別性の高い特徴次元の1-5%しか使用せず、分類精度が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 138.06600932634896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often fail to adapt representations to novel tasks under distribution shifts, especially when only a few examples are available. This paper identifies a core obstacle behind this failure: channel bias, where networks develop a rigid emphasis on feature dimensions that were discriminative for the source task, but this emphasis is misaligned and fails to adapt to the distinct needs of a novel task. This bias leads to a striking and detrimental consequence: feature redundancy. We demonstrate that for few-shot tasks, classification accuracy is significantly improved by using as few as 1-5% of the most discriminative feature dimensions, revealing that the vast majority are actively harmful. Our theoretical analysis confirms that this redundancy originates from confounding feature dimensions-those with high intra-class variance but low inter-class separability-which are especially problematic in low-data regimes. This "less is more" phenomenon is a defining characteristic of the few-shot setting, diminishing as more samples become available. To address this, we propose a simple yet effective soft-masking method, Augmented Feature Importance Adjustment (AFIA), which estimates feature importance from augmented data to mitigate the issue. By establishing the cohesive link from channel bias to its consequence of extreme feature redundancy, this work provides a foundational principle for few-shot representation transfer and a practical method for developing more robust few-shot learning algorithms.
• Abstract（参考訳）: ディープニューラルネットワークは、分散シフト中の新しいタスクへの表現の適応に失敗することが多い。 本稿では,この障害の背後にある中核的障害であるチャネルバイアスについて述べる。ネットワークは,ソースタスクを識別する特徴次元に厳格に重点を置いているが,この強調は不一致であり,新しいタスクの異なるニーズに適応できない。 このバイアスは、特徴の冗長性という、目立って有害な結果をもたらします。 本研究は, 少数のタスクにおいて, 識別的特徴次元の1～5%しか使用せず, 分類精度が著しく向上していることを示し, 大多数が積極的に有害であることを示した。 理論的解析により, この冗長性は, 低データ体制において特に問題となる, クラス内ばらつきが高いがクラス間セパビリティの低い特徴次元に起因していることが確認された。 この"less is more"現象は、いくつかのショット設定の定義特性であり、より多くのサンプルが利用可能になるにつれて減少する。 そこで本研究では,改良データから特徴重要度を推定して問題を緩和する,シンプルで効果的なソフトマスキング手法であるAugmented Feature Importance Adjustment (AFIA)を提案する。 チャネルバイアスから極端な特徴冗長性の結果としての凝集性リンクを確立することで、この研究は、少数ショット表現転送の基本原理と、より堅牢な少数ショット学習アルゴリズムを開発するための実践的方法を提供する。

関連論文リスト

• These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining [10.749875317643031]
  トランスファーラーニングは、最新の機械学習の基盤であり、幅広いデータで事前訓練されたモデルを、最小限の新しいデータで新しいタスクに適応する方法を約束する。 本研究では,各タスクに対する事前学習混合物からのモデル伝達を評価し,事前学習した特徴がタスク固有の直接訓練のパフォーマンスに適合するかどうかを評価する。 ディープラーニングモデルでは、トレーニング中に同様の機能をエンコードすると、ネットワークが新しい機能を学習できないという、基本的な制限を特定します。
  論文  参考訳（メタデータ） (2025-06-23T01:04:29Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
  プレトレーニングは下流のタスクに移行することで大きな成功を収めた。 本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
  論文  参考訳（メタデータ） (2023-06-21T07:43:23Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• On Measuring the Intrinsic Few-Shot Hardness of Datasets [49.37562545777455]
  トレーニング済みのモデルに対して、データセットに固有の数ショットの硬さを示す。 そこで我々は,数発の学習が可能な直感をとらえる,シンプルで軽量な尺度"Spread"を提案する。 我々の測定基準は、既存の硬さの概念に比べて数発の硬さを考慮し、計算が8～100倍高速である。
  論文  参考訳（メタデータ） (2022-11-16T18:53:52Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• GDC- Generalized Distribution Calibration for Few-Shot Learning [5.076419064097734]
  大規模なラベル付きデータセットを組み立てるのにかなりの時間と労力を要するため、機械学習において重要な問題となるショットラーニングはほとんどない。 ほとんどの少数ショット学習アルゴリズムは、2つの制限の1つに悩まされている。 そこで本研究では,全大クラスの重み付きランダム変数として分類する際,少数ショット分布を推定する一般サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-11T16:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。