論文の概要: From Rattle to Roar: Optimizer Showdown for MambaStock on S&P 500

• arxiv url: http://arxiv.org/abs/2508.04707v1
• Date: Wed, 09 Jul 2025 12:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-10 09:30:49.345886
• Title: From Rattle to Roar: Optimizer Showdown for MambaStock on S&P 500
• Title（参考訳）: S&P500でマムバストックが「ラトル」から「ローアー」へ-関係者
• Authors: Alena Chan, Maria Garmonina,
• Abstract要約: MambaStockモデルを用いて,S&P 500指数のリターン予測タスクにおける複数項目の性能評価を行った。 広く使われているアルゴリズムの中では、アダプティブレート(例えばAdamとRMSProp)が最も低いテストエラーをもたらす。 対照的に、Lionは特に高速なトレーニングを提供している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluate the performance of several optimizers on the task of forecasting S&P 500 Index returns with the MambaStock model. Among the most widely used algorithms, gradient-smoothing and adaptive-rate optimizers (for example, Adam and RMSProp) yield the lowest test errors. In contrast, the Lion optimizer offers notably faster training. To combine these advantages, we introduce a novel family of optimizers, Roaree, that dampens the oscillatory loss behavior often seen with Lion while preserving its training speed.
• Abstract（参考訳）: MambaStockモデルを用いて,S&P 500指数のリターンを予測するタスクにおいて,複数のオプティマイザの性能を評価する。 最も広く使われているアルゴリズムのうち、勾配平滑化と適応レート最適化器(例えばAdamとRMSProp)はテストエラーが低い。 対照的に、Lionオプティマイザは特に高速なトレーニングを提供する。 これらの利点を組み合わせるために、Lionでよく見られる振動損失の挙動を抑えつつ、トレーニング速度を保ちながら、新しいオプティマイザであるRoareeを導入する。

関連論文リスト

• Pre-Training LLMs on a budget: A comparison of three optimizers [2.8090964770805207]
  我々は、デファクト標準のAdamW、より単純なLion、そして2階のSophiaの3つの主要な変種を比較した。 より良い一般化のために、私たちは2つの異なるベースアーキテクチャでトレーニングし、単一と複数エポックのアプローチを使用します。
  論文  参考訳（メタデータ） (2025-07-11T10:29:04Z)
• Predictable Scale: Part II, Farseer: A Refined Scaling Law in Large Language Models [62.3458061002951]
  本稿では,新たなスケール法であるFarseerを紹介した。 モデル損失曲面 $L(N,D)$ を体系的に構築することにより、Farseer は以前の法則よりも経験的データに非常によく適合する。 我々の手法は正確で頑健で、非常に一般化可能な予測をもたらし、優れた外挿能力を示す。
  論文  参考訳（メタデータ） (2025-06-12T17:59:23Z)
• Cautious Optimizers: Improving Training with One Line of Code [8.393403749426097]
  我々はAdamWを慎重な、例えばC-AdamWとC-Lionに改名した。 我々の理論的結果は、この修正がアダムのハミルトニアン函数を保ち、リアプノフ解析の下で収束保証を破らないことを示している。 中でも最も単純な実験は、LlamaとMAEで最大1.47ドル(約1万7000円)の事前トレーニングを行うだけでなく、ポストトレーニングタスクの結果としても優れていることを示す実験である。
  論文  参考訳（メタデータ） (2024-11-25T04:36:01Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Symbolic Discovery of Optimization Algorithms [132.62397077095787]
  我々は,効率的な探索手法を用いて,無限小のプログラム空間を探索する。 提案手法は, 単純かつ効率的な最適化アルゴリズムである $textbfLion$ を探索する。 LionはGoogle検索広告CTRモデルのようなプロダクションシステムにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-02-13T20:27:30Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。