論文の概要: OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence

• arxiv url: http://arxiv.org/abs/2603.06613v2
• Date: Tue, 10 Mar 2026 00:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.436502
• Title: OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
• Title（参考訳）: OptiRoulette Optimizer: 最大5.3倍高速収束のための新しい確率的メタオプティマイザ
• Authors: Stamatis Mastromichalakis,
• Abstract要約: OptiRouletteは、単一のデータセットを修正するのではなく、トレーニング中の更新ルールを選択する、メタ最適化ツールである。 我々は,CIFAR-100,CIFAR-100-C,SVHN,Tiny ImageNet,Caltech-256の5種類の画像分類スイートの10シード結果を報告した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents OptiRoulette, a stochastic meta-optimizer that selects update rules during training instead of fixing a single optimizer. The method combines warmup optimizer locking, random sampling from an active optimizer pool, compatibility-aware learning-rate scaling during optimizer transitions, and failure-aware pool replacement. OptiRoulette is implemented as a drop-in, "torch.optim.Optimizer-compatible" component and packaged for pip installation. We report completed 10-seed results on five image-classification suites: CIFAR-100, CIFAR-100-C, SVHN, Tiny ImageNet, and Caltech-256. Against a single-optimizer AdamW baseline, OptiRoulette improves mean test accuracy from 0.6734 to 0.7656 on CIFAR-100 (+9.22 percentage points), 0.2904 to 0.3355 on CIFAR-100-C (+4.52), 0.9667 to 0.9756 on SVHN (+0.89), 0.5669 to 0.6642 on Tiny ImageNet (+9.73), and 0.5946 to 0.6920 on Caltech-256 (+9.74). Its main advantage is convergence reliability at higher targets: it reaches CIFAR-100/CIFAR-100-C 0.75, SVHN 0.96, Tiny ImageNet 0.65, and Caltech-256 0.62 validation accuracy in 10/10 runs, while the AdamW baseline reaches none of these targets within budget. On shared targets, OptiRoulette also reduces time-to-target (e.g., Caltech-256 at 0.59: 25.7 vs 77.0 epochs). Paired-seed deltas are positive on all datasets; CIFAR-100-C test ROC-AUC is the only metric not statistically significant in the current 10-seed study.
• Abstract（参考訳）: 本稿では,単一オプティマイザを修正する代わりに,トレーニング中の更新ルールを選択する確率的メタ最適化ツールOptiRouletteを提案する。 この方法は、ウォームアップオプティマイザロック、アクティブオプティマイザプールからのランダムサンプリング、オプティマイザトランジション中の互換性対応学習レートスケーリング、障害対応プールリプレースを組み合わせる。 OptiRouletteは"torch.optim.Optimizer互換"コンポーネントとして実装され、pipインストール用にパッケージされている。 我々は,CIFAR-100,CIFAR-100-C,SVHN,Tiny ImageNet,Caltech-256の5種類の画像分類スイートの10シード結果を報告する。 シングル最適化のAdamWベースラインに対して、OptiRouletteはCIFAR-100で0.6734から0.7656、CIFAR-100-Cで0.2904から0.3355、SVHNで0.9667から0.9756、Tiny ImageNetで0.5669から0.6642、CIFAR-256で0.5946から0.6920に改善した。 CIFAR-100/CIFAR-100-C 0.75、SVHN 0.96、Tiny ImageNet 0.65、Caltech-256 0.62の検証精度を10/10で達成し、AdamWベースラインは予算内ではこれらの目標に到達していない。 共有ターゲットでは、OptiRoulette は時間とターゲット(例えば Caltech-256 at 0.59: 25.7 vs 77.0 epochs)も削減する。 CIFAR-100-CテストROC-AUCは、現在の10シード研究で統計的に有意ではない唯一の指標である。

関連論文リスト

• Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
  MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。 拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
  論文  参考訳（メタデータ） (2025-10-04T01:22:41Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks [1.6986870945319288]
  GreenFactoryは、モデルテストの精度を直接予測するゼロコストプロキシのアンサンブルである。 NATS-Bench上でGreenFactoryを評価し、複数のデータセットで堅牢な結果を得る。
  論文  参考訳（メタデータ） (2025-05-14T12:40:34Z)
• Curriculum Coarse-to-Fine Selection for High-IPC Dataset Distillation [67.34754791044242]
  効率的な高IPCデータセット蒸留のための新しいカリキュラム粗粒抽出法(CCFS)を提案する。 CCFSは、各カリキュラムの現在の合成データセットに基づいて、適切な実データを選択するために粗い戦略を採用している。
  論文  参考訳（メタデータ） (2025-03-24T16:47:40Z)
• Foxtsage vs. Adam: Revolution or Evolution in Optimization? [4.939986309170004]
  本研究は、ハイブリッドFOX-TSAとグラディエントDescentを統合した新しいハイブリッド最適化手法であるFoxtsageを導入し、マルチ層パーセプトロンモデルのトレーニングを行う。 実験の結果、Foxtsageは損失平均の42.03%の減少(Foxtsage: 9.508, Adam: 16.402)、損失標準偏差の42.19%の改善(Foxtsage: 20.86, Adam: 36.085)を達成した。
  論文  参考訳（メタデータ） (2024-12-20T03:20:58Z)
• Sparse then Prune: Toward Efficient Vision Transformers [2.191505742658975]
  Vision Transformerは自然言語処理におけるTransformerモデルの成功に触発されたディープラーニングモデルである。 視力変換器にスパース正規化を適用すると、精度が0.12%向上する。 スパース正規化を伴うモデルにプルーニングを適用すると、さらによい結果が得られる。
  論文  参考訳（メタデータ） (2023-07-22T05:43:33Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [12.365801596593936]
  我々は、事前学習タスクを二項分類問題としてモデル化し、暗黙的なコントラスト効果を誘導する。 既存の手法とは異なり、提案した損失関数は正対と負対の相互情報を最適化する。 提案手法は,ベンチマークデータセット上でのSOTA自己教師型コントラストフレームワークよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。