論文の概要: Systematic Evaluation of Learning Rate Scheduling Strategies Across Heterogeneous Architectures

• arxiv url: http://arxiv.org/abs/2607.08511v1
• Date: Thu, 09 Jul 2026 14:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.557868
• Title: Systematic Evaluation of Learning Rate Scheduling Strategies Across Heterogeneous Architectures
• Title（参考訳）: 不均一アーキテクチャにおける学習速度スケジューリング手法の体系的評価
• Abstract要約: 多様なアーキテクチャのプールにおけるスケジューラの分類精度への影響について検討する。 我々は9つのPyTorchファミリーに25のスケジューラ構成を適用し、CIFAR-10で合計3,938のモデル変種を評価した。 CosineAnnealingWarmRestarts と CyclicLR は、基本的な崩壊戦略を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 48.83701310501069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing a learning rate scheduling strategy is critical to neural network training, but manual selection is costly and rarely exhaustive. While classical AutoML approaches often treat the scheduler as a secondary hyperparameter, we systematically investigate its impact on classification accuracy across a diverse pool of architectures. We evaluated 30 representative architectures from convolutional and transformer families within the LEMUR neural network dataset. Through automated source-code injection, we applied 25 scheduler configurations across nine PyTorch families, evaluating a total of 3,938 model variants on CIFAR-10. Our best configuration achieved a top-1 accuracy of 86.45%, with 237 variants exceeding 80%. The results show that the choice of scheduler depends heavily on the architecture: CosineAnnealingWarmRestarts and CyclicLR consistently outperform basic decay strategies. The resulting accuracy landscape, contributed to the LEMUR nn-dataset, provides a practical reference for principled scheduler selection.
• Abstract（参考訳）: ニューラルネットワークのトレーニングでは、学習率のスケジューリング戦略を選択することが重要だが、手作業による選択はコストがかかり、滅多にない。 従来のAutoMLアプローチでは、スケジューラを二次ハイパーパラメータとして扱うことが多いが、アーキテクチャの多様なプールにおける分類精度への影響を体系的に検討する。 LEMURニューラルネットワークデータセット内の畳み込みおよびトランスフォーマーファミリーから30の代表的なアーキテクチャを評価した。 ソースコードの自動インジェクションにより、9つのPyTorchファミリーに25のスケジューラ構成を適用し、CIFAR-10で合計3,938のモデル変種を評価した。 我々の最高構成は86.45%で、237の変種は80%を超えた。 CosineAnnealingWarmRestarts と CyclicLR は、基本的な崩壊戦略を一貫して上回ります。 LEMUR nn-datasetに寄与する結果の正確さは、原則化されたスケジューラ選択の実践的な参照を提供する。

関連論文リスト

• Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis [48.83701310501069]
  ニューラルアーキテクチャ探索(NAS)のためのニューラルネットワークコードにプログレッシブなカリキュラムを構築するMinHashベースの類似性スケジューリングフレームワークを導入する。 我々は,CIFAR-10画像分類におけるLEMURベンチマークにおいて,オリンピックコード7Bの枠組みを評価する。 SVHNでは,カリキュラムなしの直接ベースモデル生成により,CIFAR-10相当値よりもかなり低い精度(60.5%)で27%のSRが得られる。
  論文  参考訳（メタデータ） (2026-07-13T14:14:30Z)
• From Code to Prediction: Fine-Tuning LLMs for Neural Network Performance Classification in NNGPT [48.83701310501069]
  NNGPTフレームワークに組み込まれた分類タスクを提案する。 微調整されたLLMは、与えられたニューラルネットワークアーキテクチャの2つの画像分類データセットのうちどれがより高い精度を達成するかを予測する。 その結果、LLMはニューラルネットワークコードからデータセット間の適合性を予測するために微調整可能であることが判明した。
  論文  参考訳（メタデータ） (2026-05-05T12:30:19Z)
• Empirical Ablation and Ensemble Optimization of a Convolutional Neural Network for CIFAR-10 Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は画像分類において中心的なアプローチである。 本稿では,CIFAR-10ベンチマークのCNN最適化に関する経験的アブレーションに基づく研究について述べる。
  論文  参考訳（メタデータ） (2026-04-26T20:08:26Z)
• Resonant Sparse Geometry Networks [0.0]
  共振器スパース幾何ネットワーク(Resonant Sparse Geometry Networks, RSGN)は, 自己組織型スパーススパース入力依存接続を持つ脳にインスパイアされたアーキテクチャである。 RSGNは、接続強度が測地距離で減衰する学習された双曲空間に計算ノードを埋め込む。
  論文  参考訳（メタデータ） (2026-01-26T01:45:51Z)
• SymRAG: Efficient Neuro-Symbolic Retrieval Through Adaptive Query Routing [8.775121469887033]
  現在のRetrieval-Augmented Generationシステムは一様処理を使用しており、単純なクエリが複雑なマルチホップタスクに似たリソースを消費するので非効率である。 リアルタイム複雑化と負荷評価による適応型クエリルーティングを導入し,シンボル,ニューラル,ハイブリッドの経路を選択するためのフレームワークであるSymRAGを提案する。
  論文  参考訳（メタデータ） (2025-06-15T22:35:43Z)
• Meta knowledge assisted Evolutionary Neural Architecture Search [38.55611683982936]
  本稿では,革新的なメタラーニングフレームワークを用いて,効率的なECベースのNAS手法を提案する。 アダプティブサロゲートモデルは、潜在的なアーキテクチャを選択するためのアダプティブしきい値によって設計される。 CIFAR-10, CIFAR-100, ImageNet1Kデータセットを用いた実験により, 提案手法は最先端のピア手法に匹敵する高い性能が得られることを示した。
  論文  参考訳（メタデータ） (2025-04-30T11:43:07Z)
• End-to-End Implicit Neural Representations for Classification [57.55927378696826]
  Inlicit Neural representations (INRs) は、ニューラルネットワークパラメータの信号を符号化し、信号再構成に優れた結果を示す。 INRをベースとした分類は、CNNのようなピクセルベースの手法に比べて、依然としてかなり低性能である。 本研究は,SIRENを学習段階のスキームとともに初期化するエンド・ツー・エンドの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-23T16:02:23Z)
• RSQ: Learning from Important Tokens Leads to Better Quantized LLMs [65.5558181902098]
  レイヤーワイド量子化は、高価なリトレーニングなしで大きなモデルを効率的に圧縮するための重要な技術である。 モデルに回転を適用して外乱を緩和するRSQ(Rotate, Scale, then Quantize)を提案する。 RSQは、複数の下流タスクと3つのモデルファミリーで、ベースラインメソッドを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-03-03T18:46:33Z)
• Systematic Evaluation of Deep Learning Models for Log-based Failure Prediction [3.3810628880631226]
  本稿では,障害予測のためのログデータ埋め込み戦略とディープラーニング(DL)タイプの組み合わせを系統的に検討する。 そこで我々は,組込み戦略とDLベースのエンコーダの様々な構成に対応するモジュールアーキテクチャを提案する。 また,F1スコア測定値を用いて,Logkey2vecを用いたCNNベースのエンコーダが最適であることを示す。
  論文  参考訳（メタデータ） (2023-03-13T16:04:14Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。