論文の概要: Go Small and Similar: A Simple Output Decay Brings Better Performance

• arxiv url: http://arxiv.org/abs/2106.06726v1
• Date: Sat, 12 Jun 2021 09:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:04:02.974589
• Title: Go Small and Similar: A Simple Output Decay Brings Better Performance
• Title（参考訳）: Go Small and similar: 単純なアウトプットの減少によってパフォーマンスが向上
• Authors: Xuan Cheng, Tianshu Xie, Xiaomin Wang, Jiali Deng, Minghui Liu, Ming Liu
• Abstract要約: 本稿では,各クラスに対して,より小さく類似した出力値を割り当てるようにモデルを強制する,出力決定という新しい正規化項を提案する。 実験は、アウトプット・デケイの幅広い適用性、汎用性、および互換性を示す。
• 参考スコア（独自算出の注目度）: 6.066543113636522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization and data augmentation methods have been widely used and become increasingly indispensable in deep learning training. Researchers who devote themselves to this have considered various possibilities. But so far, there has been little discussion about regularizing outputs of the model. This paper begins with empirical observations that better performances are significantly associated with output distributions, that have smaller average values and variances. By audaciously assuming there is causality involved, we propose a novel regularization term, called Output Decay, that enforces the model to assign smaller and similar output values on each class. Though being counter-intuitive, such a small modification result in a remarkable improvement on performance. Extensive experiments demonstrate the wide applicability, versatility, and compatibility of Output Decay.
• Abstract（参考訳）: 正規化とデータ拡張手法は広く使われており、ディープラーニングトレーニングではますます不可欠になっている。 これに専念する研究者は様々な可能性を検討してきた。 しかし、これまでのところ、モデルのアウトプットの正規化についてはほとんど議論がなかった。 本稿では,平均値と分散値がより小さい出力分布に優れた性能が深く関連しているという経験的観察から始める。 因果関係があると大胆に仮定することで、出力減衰と呼ばれる新しい正規化項を提案し、モデルが各クラスに小さく類似した出力値を割り当てることを強制する。 直観に反するが、このような小さな変更はパフォーマンスに著しい改善をもたらす。 広範な実験により、幅広い適用性、汎用性、出力崩壊の互換性が示されている。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Exploring new ways: Enforcing representational dissimilarity to learn new features and reduce error consistency [1.7497479054352052]
  非常に異なる中間表現は相関の少ない出力予測と若干の誤差整合性をもたらすことを示す。 これにより、中間表現間の接続とその出力予測への影響について、第1の光を当てる。
  論文  参考訳（メタデータ） (2023-07-05T14:28:46Z)
• When are ensembles really effective? [49.37269057899679]
  分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。 平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。 アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
  論文  参考訳（メタデータ） (2023-05-21T01:36:25Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。