論文の概要: Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study

• arxiv url: http://arxiv.org/abs/2606.20933v1
• Date: Thu, 18 Jun 2026 20:51:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-06-23 11:29:00.081093
• Title: Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
• Title（参考訳）: NNGPTオートMLパイプラインにおけるロバストトレーニングに向けて:ロスオプティマイザペアリング選択研究
• Authors: Anton Abramochkin, Radu Timofte, Dmitry Ignatov,
• Abstract要約: 本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
• 参考スコア（独自算出の注目度）: 48.83701310501069
• License:
• Abstract: The choice of loss function and optimizer is an important decision, that shapes further model training. Yet automated architecture search pipelines (AutoML) benefits significantly more from the optimal pairing selection and vice versa. This paper investigates whether a single recipe is sufficient for heterogeneous architecture pools, or whether the optimal pairing varies across structurally diverse models. We conduct a systematic empirical study of all $3 \times 6 = 18$ combinations of six optimizers (SGD+Momentum, Adam, AdamW, RMSprop, Adagrad, Adadelta), paired with three loss functions: Cross-Entropy (CEL), Negative Log-Likelihood (NLL), and the recently introduced genetically evolved NGL loss across the base models presented in LEMUR heterogeneous architecture pool on six image classification datasets (CelebA-Gender, CIFAR-10, CIFAR-100, ImageNette, MNIST, SVHN). The 18 loss-optimizer configurations are applied to each of the 33 compatible base architectures taken from the LEMUR pool, resulting in 594 variants that were generated fully automatically by a source-level injection pipeline and evaluated under fixed hyperparameters, ensuring that observed accuracy differences are attributable solely to the loss-optimizer pairing. Our results confirm that no single pairing is universally optimal. Cross-Entropy with Adam or AdamW is the most robust choice across architecture families and datasets. NGL is a competitive alternative to CEL on standard convolutional classifiers, but only when paired with adaptive optimizers; it degrades substantially with SGD or accumulation-based methods. Adagrad and Adadelta consistently underperform under fixed hyperparameters regardless of loss function, highlighting their sensitivity to learning rate tuning. These findings provide actionable guidance for loss-optimizer selection within NNGPT Framework.
• Abstract（参考訳）: 損失関数とオプティマイザの選択は、さらなるモデルトレーニングを形成する重要な決定である。 しかし、自動アーキテクチャ検索パイプライン(AutoML)は、最適なペアリング選択とその逆のメリットにより、大きなメリットがある。 本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 6つの画像分類データセット(CelebA-Gender, CIFAR-10, CIFAR-100, ImageNette, MNIST, SVHNN, SVHN)上のLEMURヘテロジニアス・アーキテクチャー・プールに提示されたベースモデル全体にわたる遺伝学的に進化したNGL損失を、CEL(Cross-Entropy)、NLL(Negative Log-Likelihood)、NLL(Negative Log-Likelihood)の3つの損失関数と組み合わせて、SGD+Momentum(SGD+Momentum)、AdamW、RMSprop、Adagrad、Adadelta)の6つのオプティマイザ(SGD+Momentum)の組み合わせを体系的に検討した。 その結果、ソースレベルのインジェクションパイプラインによって自動的に生成され、固定されたハイパーパラメータで評価され、観測された精度の違いが損失-オプティマイザペアリングのみに起因することが保証された。 以上の結果から,単一のペアリングが普遍的に最適でないことが確認された。 AdamやAdamWとのクロスエントロピーは、アーキテクチャファミリやデータセットの中で最も堅牢な選択である。 NGLは標準畳み込み分類器におけるCELの競合的な代替品であるが、適応最適化器と組み合わせた場合に限られる。 AdagradとAdadeltaは、損失関数に関わらず、固定されたハイパーパラメータの下で一貫してパフォーマンスが低下し、学習速度チューニングに対する感受性が強調された。 これらの知見はNNGPTフレームワーク内での損失最適化のための実用的なガイダンスを提供する。

関連論文リスト

• Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization [8.412194372218895]
  本研究では,Singularity-aware Adam (S-Adam)を紹介した。 S-アダムには適応減衰機構が組み込まれており、不安定な地域での更新を減速し、スムーズな盆地での高速収束を保っている。 最適量子化アウェアトレーニング(QAT)と高雑音小バッチ学習の実証評価は、S-AdamがAdamWとProx-SGDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T08:00:40Z)
• Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
  Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。 フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
  論文  参考訳（メタデータ） (2026-04-01T15:40:20Z)
• Efficient Differentiable Causal Discovery via Reliable Super-Structure Learning [51.20606796019663]
  本稿では,新たな因果発見パイプラインであるALVGLを提案する。 ALVGLはスパース分解とローランク分解を用いてデータの精度行列を学習する。 ALVGLは最先端の精度を達成するだけでなく、最適化効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2026-01-09T02:18:59Z)
• One Size Does Not Fit All: Architecture-Aware Adaptive Batch Scheduling with DEBA [9.344832445480415]
  適応型バッチスケジューラであるDEBAを導入する。 アーキテクチャが適応の有効性を根本的に決定できることを実証する。
  論文  参考訳（メタデータ） (2025-11-05T19:19:39Z)
• FORTRESS: Function-composition Optimized Real-Time Resilient Structural Segmentation via Kolmogorov-Arnold Enhanced Spatial Attention Networks [1.663204995903499]
  FORTRESS (Function-composition Optimized Real-Time Resilient Structure) は、特別な手法を用いて精度と速度のバランスをとる新しいアーキテクチャである。 Fortressには,系統的に分離可能な畳み込みフレームワーク,適応型TiKAN統合,マルチスケールアテンション融合という,3つの重要なイノベーションが含まれている。 このアーキテクチャは 91% のパラメータ還元 (31M から 2.9M) 、91% の計算複雑性低減 (13.7 から 1.17 GFLOPs) 、および 3倍の推論速度向上によって、顕著な効率向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T23:17:58Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices [37.559461866831754]
  我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-27T00:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。