論文の概要: HAND: A Biologically-Inspired Activation Function that Improves Generalisation and Sample Efficiency in Image Classification

• arxiv url: http://arxiv.org/abs/2610.11534v1
• Date: Thu, 08 Oct 2026 09:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.909449
• Title: HAND: A Biologically-Inspired Activation Function that Improves Generalisation and Sample Efficiency in Image Classification
• Title（参考訳）: HAND:画像分類における一般化とサンプル効率を改善する生物学的にインスパイアされた活性化機能
• Abstract要約: DNNは、人間には見られない堅牢性と一般化の問題を示す。 HANDでは, 一般的な崩壊データによる一般化性能, 未知のクラスからのサンプルを拒否する能力が, 影響を受けなかったり, 改善された。
• 参考スコア（独自算出の注目度）: 6.15299511500984
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: DNNs exhibit robustness and generalisation issues not seen in humans. They are also far less data-efficient learners, requiring considerably more training samples to accurately classify novel exemplars. Inductive bias could help with these issues by providing in-built mechanisms to improve generalisation, and hence, reduce reliance on learning from data. We incorporate a biologically-inspired inductive bias into a new activation function, HAND (Homeostasis, Accelerating Nonlinearity, and Divisive-nomalisation), and show its effectiveness with CNNs trained on image classification. Using HAND a ConvNeXt-tiny required 25 training epochs to reach the same accuracy on ImageNet1k as the unmodified model achieved after 200 epochs. Consistent with the effects of an inductive bias, the performance gap reduced with training time and increased data augmentation. When the volume of training data was reduced and unevenly distributed between classes (Long-tailed ImageNet) the improvements in accuracy were even larger and did not reduce with increased training time. Generalisation performance with the common-corruptions data, and the ability to reject samples from unknown classes, were unaffected or improved by HAND. Results generalised across CNN architectures and training data-sets. HAND can, therefore, reduce the required training time and/or the required volume and variety of training data, helping to improve sample efficiency.
• Abstract（参考訳）: DNNは、人間には見られない堅牢性と一般化の問題を示す。 また、これらはデータ効率の低い学習者であり、新しい模範を正確に分類するためには、かなり多くのトレーニングサンプルを必要とする。 帰納バイアスは、一般化を改善し、データからの学習への依存を減らすために構築されたメカニズムを提供することで、これらの問題を解決するのに役立つ。 生体にインスパイアされた誘導バイアスを新たな活性化関数HAND(Homeostasis, Accelerating linearity, Divisive-nomalization)に組み込み,画像分類に基づくCNNの有効性を示す。 HANDを使用すると、ConvNeXt-tinyは200エポック後に達成された未修正モデルと同じ精度でImageNet1k上で25のトレーニングエポックを必要とした。 インダクティブバイアスの影響に従えば、トレーニング時間とデータ増大に伴うパフォーマンスギャップは減少する。 トレーニングデータのボリュームが減少し、クラス間で不均一に分散された場合(Long-tailed ImageNet)、精度の向上はさらに大きくなり、トレーニング時間の増加とともに低下しなかった。 HANDでは, 一般的な崩壊データによる一般化性能, 未知のクラスからのサンプルを拒否する能力が, 影響を受けなかったり, 改善された。 結果はCNNアーキテクチャにまたがって一般化され、データセットのトレーニングが行われた。 したがって、HANDは必要なトレーニング時間と/または必要な量のトレーニングデータとさまざまなトレーニングデータを削減し、サンプル効率を向上させることができる。

関連論文リスト

• Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
  本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。 本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:52:44Z)
• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。