論文の概要: AdaCap: An Adaptive Contrastive Approach for Small-Data Neural Networks

• arxiv url: http://arxiv.org/abs/2511.20170v1
• Date: Tue, 25 Nov 2025 10:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.410645
• Title: AdaCap: An Adaptive Contrastive Approach for Small-Data Neural Networks
• Title（参考訳）: AdaCap: 小型データニューラルネットワークに対する適応的コントラストアプローチ
• Authors: Bruno Belucci, Karim Lounici, Katia Meziani,
• Abstract要約: 本稿では、置換に基づくコントラスト損失とTikhonovに基づくクローズドフォーム出力マッピングを組み合わせたトレーニングスキームであるAdaptive Contrastive Approach(AdaCap)を紹介する。 AdaCapは、特に残留モデルにおいて、小さなサンプル状態において一貫した統計的に重要な改善をもたらす。
• 参考スコア（独自算出の注目度）: 5.4546559522297935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks struggle on small tabular datasets, where tree-based models remain dominant. We introduce Adaptive Contrastive Approach (AdaCap), a training scheme that combines a permutation-based contrastive loss with a Tikhonov-based closed-form output mapping. Across 85 real-world regression datasets and multiple architectures, AdaCap yields consistent and statistically significant improvements in the small-sample regime, particularly for residual models. A meta-predictor trained on dataset characteristics (size, skewness, noise) accurately anticipates when AdaCap is beneficial. These results show that AdaCap acts as a targeted regularization mechanism, strengthening neural networks precisely where they are most fragile. All results and code are publicly available at https://github.com/BrunoBelucci/adacap.
• Abstract（参考訳）: ニューラルネットワークは、木ベースのモデルが支配的である小さな表のデータセットに苦しむ。 本稿では、置換に基づくコントラスト損失とTikhonovに基づくクローズドフォーム出力マッピングを組み合わせたトレーニングスキームであるAdaptive Contrastive Approach(AdaCap)を紹介する。 85以上の実世界の回帰データセットと複数のアーキテクチャにおいて、AdaCapは、特に残留モデルにおいて、小さなサンプル構造において一貫した統計的に重要な改善をもたらす。 データセットの特徴(サイズ、歪み、ノイズ)に基づいてトレーニングされたメタ予測器は、AdaCapが有用であるときに正確に予測される。 これらの結果は、AdaCapがターゲットの正規化メカニズムとして機能し、ニューラルネットワークが最も脆弱な場所を正確に強化していることを示している。 すべての結果とコードはhttps://github.com/BrunoBelucci/adacap.comで公開されている。

関連論文リスト

• Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
  点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。 我々は,各地真実の周囲に凸景観を形成する学習を提案する。
  論文  参考訳（メタデータ） (2024-11-16T01:13:04Z)
• Efficient Model Compression for Bayesian Neural Networks [4.179545514579061]
  本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
  論文  参考訳（メタデータ） (2024-11-01T00:07:59Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
  我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。 また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
  論文  参考訳（メタデータ） (2024-01-08T23:54:46Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• AdaCap: Adaptive Capacity control for Feed-Forward Neural Networks [0.0]
  Adaptive Capacity (AdaCap)は、フィードフォワードニューラルネットワーク(FFNN)のトレーニングスキームである。 AdaCapは2つの新しい材料、Muddling labels for Regularization (MLR) LosとTikhonovオペレーターのトレーニングスキームの組み合わせである。
  論文  参考訳（メタデータ） (2022-05-09T17:55:02Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Slope and generalization properties of neural networks [0.0]
  十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。 傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。 本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
  論文  参考訳（メタデータ） (2021-07-03T17:54:27Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。