論文の概要: Pairwise Learning Increases Data Efficiency in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2610.27669v1
- Date: Tue, 20 Oct 2026 05:34:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.662655
- Title: Pairwise Learning Increases Data Efficiency in Deep Neural Networks
- Title（参考訳）: Pairwise Learningはディープニューラルネットワークにおけるデータ効率を向上する
- Abstract要約: 本稿では、相対的ランク付けとして回帰を再構成するペアワイズ比較フレームワークを提案する。
UTKFaceデータセット(23kイメージ)では、ペアワイズ学習は、追加の監督なしに10億以上のトレーニング比較を生成する。
全体として、ペアワイズ・インスペクションはデータの効率を向上し、ラベル付きデータが制限された場合の強い回帰と分類性能を実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks often fail at small-sample regression, collapsing to low-variance predictions that miss individual differences. Here, we introduce a pairwise comparison framework that reframes regression as aggregated relative rankings. This method improves data efficiency across model architectures and dataset sizes. On the UTKFace dataset (23k images), pairwise learning generates over one billion training comparisons without additional supervision. The paired ranking allows a lightweight ResNet10 trained from scratch on home hardware to achieve a 3.64-year MAE-surpassing previous models, including those with large-scale pretraining. For classification into categories, pairwise supervision consistently outperforms an otherwise identical 10-way crossentropy model on STL10 with 500-2000 labeled examples, improving accuracy by up to 5.2%. Overall, pairwise supervision enhances data efficiency and enables strong regression and classification performance when labeled data are limited, particularly in clinical settings.
- Abstract（参考訳）: ディープニューラルネットワークは小さなサンプル回帰で失敗することが多く、個々の違いを見逃すような低分散予測に失敗する。
ここでは、回帰を集計された相対ランクとして再編成するペアワイズ比較フレームワークを提案する。
この方法は、モデルアーキテクチャとデータセットサイズをまたいだデータ効率を改善する。
UTKFaceデータセット(23kイメージ)では、ペアワイズ学習は、追加の監督なしに10億以上のトレーニング比較を生成する。
ペアリングされたランキングでは、ホームハードウェアのスクラッチからトレーニングされた軽量のResNet10が、大規模な事前トレーニングを含む3.64年間のMAEを克服する以前のモデルを達成することができる。
カテゴリー分類において、ペアの監督は500-2000のラベル付き例で STL10 上で全く同じ10ウェイのクロスエントロピーモデルより一貫して優れており、精度は最大5.2%向上している。
全体として、ペアワイズ・インスペクションはデータ効率を向上し、ラベル付きデータが制限された場合、特に臨床環境では、強力なレグレッションと分類性能を実現する。
関連論文リスト
- Using Set Learning to Improve Set-Valued Classifiers on Long-tailed Data [9.844965649469419]
ニューラルネットワークのトレーニング戦略と損失関数が、高度に不均衡なデータに対して、下流SVCのパフォーマンスにどのように影響するかを検討する。
我々は、最近提案された奇数Kアウト(OKO)損失関数を適用し、トレーニングサンプルの集合から学習し、サンプル効率を向上する。
高度に長い尾を持つデータセットの実験では、修正OKOアプローチにより、複数のSVCメソッドのマクロ精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-10-20T00:46:14Z) - Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。
スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。
我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文 参考訳（メタデータ） (2026-04-21T06:27:18Z) - The Impact of Scaling Training Data on Adversarial Robustness [28.844098517315228]
ロバストネスは、データボリュームとモデルサイズの両方で対数スケーリングの法則に従う。
DINOv2のようなデータセットでトレーニングされた自己教師型モデルでは、はるかに大きく、キュレートされていないデータセットでトレーニングされたモデルよりも優れています。
人間の評価は、人間と機械の視界の間に永続的なギャップを露呈する。
論文 参考訳（メタデータ） (2025-09-30T08:20:56Z) - Data Uniformity Improves Training Efficiency and More, with a Convergence Framework Beyond the NTK Regime [24.425649636862122]
より均一に分散したデータを選択することで、トレーニング効率が向上し、性能が向上することを示す。
具体的には、より均一な(バイアスのない)分布が、データポイント間の最小ペア距離を大きくすることを示す。
理論的には、ニューラルネットワークの近似誤差は、h_min$が増加するにつれて減少する。
論文 参考訳（メタデータ） (2025-06-30T17:58:30Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳（メタデータ） (2022-07-13T09:43:17Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Training Generative Adversarial Networks with Limited Data [42.72100066471578]
限られたデータ体制におけるトレーニングを著しく安定化させる適応型識別器拡張機構を提案する。
よい結果が得られるのは、数千のトレーニングイメージだけで、多くの場合、StyleGAN2の結果に、桁違いに少ない画像でマッチする。
論文 参考訳（メタデータ） (2020-06-11T17:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。