論文の概要: PENEX: AdaBoost-Inspired Neural Network Regularization

• arxiv url: http://arxiv.org/abs/2510.02107v1
• Date: Thu, 02 Oct 2025 15:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.179148
• Title: PENEX: AdaBoost-Inspired Neural Network Regularization
• Title（参考訳）: PENEX: AdaBoostにインスパイアされたニューラルネットワークの正規化
• Authors: Klaus-Rudolf Kladny, Bernhard Schölkopf, Michael Muehlebach,
• Abstract要約: PENEXは多クラス指数損失の新しい定式化である。 PENEXは暗黙的にデータポイントのマージンを最大化する。 我々の結果は、深層ニューラルネットワークの効果的なトレーニングと微調整のためのAdaBoostにインスパイアされた代替手段としてのPENEXの可能性を強調した。
• 参考スコア（独自算出の注目度）: 53.628953848091065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AdaBoost sequentially fits so-called weak learners to minimize an exponential loss, which penalizes mislabeled data points more severely than other loss functions like cross-entropy. Paradoxically, AdaBoost generalizes well in practice as the number of weak learners grows. In the present work, we introduce Penalized Exponential Loss (PENEX), a new formulation of the multi-class exponential loss that is theoretically grounded and, in contrast to the existing formulation, amenable to optimization via first-order methods. We demonstrate both empirically and theoretically that PENEX implicitly maximizes margins of data points. Also, we show that gradient increments on PENEX implicitly parameterize weak learners in the boosting framework. Across computer vision and language tasks, we show that PENEX exhibits a regularizing effect often better than established methods with similar computational cost. Our results highlight PENEX's potential as an AdaBoost-inspired alternative for effective training and fine-tuning of deep neural networks.
• Abstract（参考訳）: AdaBoostは、いわゆる弱い学習者が指数関数的な損失を最小限に抑えるために、順次適合する。 パラドックス的に、AdaBoostは弱い学習者の数が増加するにつれて、実際にうまく一般化する。 本研究では,Penalized Exponential Loss (PENEX) を導入する。これは理論上基礎を成し,既存の定式化とは対照的に,一階法による最適化が可能となる多クラス指数損失の新しい定式化である。 PENEXが暗黙的にデータポイントのマージンを最大化することを示す。 また,PENEXの勾配増加は,強化フレームワークにおける弱い学習者を暗黙的にパラメータ化することを示した。 コンピュータビジョンと言語タスク全体にわたって、PENEXは、同様の計算コストの確立された方法よりも、しばしば正則化効果を示すことを示す。 我々の結果は、深層ニューラルネットワークの効果的なトレーニングと微調整のためのAdaBoostにインスパイアされた代替手段としてのPENEXの可能性を強調した。

関連論文リスト

• Instance-Prototype Affinity Learning for Non-Exemplar Continual Graph Learning [7.821213342456415]
  グラフニューラルネットワークは破滅的な忘れを耐え、以前獲得した知識を保持する能力を損なう。 非現代連続グラフ学習(NECGL)のための新しいパラダイムであるインスタンス型親和性学習(IPAL)を提案する。 我々は,PCL内に決定境界知覚機構を組み込み,クラス間識別性を向上する。
  論文  参考訳（メタデータ） (2025-05-15T07:35:27Z)
• Multiplicative Learning [0.04499833362998487]
  本研究では,予測出力に対する観測値の比率に基づいて重みを乗算的に更新する新しい学習手法である期待反射(ER)を導入する。 ERを多層ネットワークに拡張し、画像分類タスクの実行の有効性を示す。
  論文  参考訳（メタデータ） (2025-03-13T08:14:00Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning [19.495587566796278]
  Deep Augmentationは、ニューラルネットワークのターゲット層にドロップアウトまたはPCA変換を適用する方法である。 レイヤ間で均一にドロップアウトを適用することで、パフォーマンスが一貫して向上しないことを示す。 また, 停止段階の操作は, 拡張として効果的にドロップアウト機能を確保するために重要であることも示している。
  論文  参考訳（メタデータ） (2023-03-25T19:03:57Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。