論文の概要: Lightweight and Versatile Learned Optimization by Recombination of Gradient History

• arxiv url: http://arxiv.org/abs/2610.09604v1
• Date: Wed, 07 Oct 2026 07:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.779974
• Title: Lightweight and Versatile Learned Optimization by Recombination of Gradient History
• Title（参考訳）: グラディエント・ヒストリの再結合による軽量・ヴァーサタイル学習最適化
• Abstract要約: 本稿では,不整合時間帯の平均値として表される勾配履歴を動的に再結合する,軽量で汎用的な学習手法を提案する。 予測空間は勾配平均あたりの1つのスカラー係数に減少し、複数のパラメータで共有される。 古いグラデーションの段階的な平均化は、コントリビューションを独立してアクセスしながら、長い歴史のメモリコストを最小化する。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a lightweight and versatile learned optimizer that dynamically recombines gradient history, represented as averages over disjoint time spans. The optimizer reduces the prediction space to one scalar coefficient per gradient average, shared by multiple parameters. Progressively averaging older gradients minimizes memory cost of long history, while keeping their contributions independently accessible. A 37k-parameter network trained in 0.87 GPU-hours generalizes zero-shot to unseen tasks, lowering validation loss by 9.1% and 0.4% on BERT-Tiny and GPT-Tiny, and improving test accuracy over Adam by 3.5 %p on a Vision Transformer and by 2.7 %p on average across nine graph models, with FLOPs overhead as low as 0.3%.
• Abstract（参考訳）: 本稿では,非結合時間に対する平均値として表される勾配履歴を動的に再結合する軽量で汎用的な学習最適化手法を提案する。 最適化器は、複数のパラメータで共有される勾配平均あたりの1つのスカラー係数に予測空間を還元する。 古いグラデーションの段階的な平均化は、コントリビューションを独立してアクセスしながら、長い歴史のメモリコストを最小化する。 0.87 GPU-hoursでトレーニングされた37kパラメータネットワークは、ゼロショットから未確認タスクへの一般化、BERT-TinyとGPT-Tinyでの検証損失の9.1%と0.4%の低減、視覚変換器でのAdamによるテスト精度の3.5%、9つのグラフモデルの平均2.7%%の改善、FLOPのオーバーヘッドは0.3%と低い。

関連論文リスト

• Improving the efficiency of QAOA using efficient parameter transfer initialization and targeted-single-layer regularized optimization with minimal performance degradation [1.7761223012399538]
  量子近似最適化アルゴリズム (QAOA) を用いた3種類のグラフにおけるMaxCut問題について検討する。 正規3R, Erdos Renyi (ER), Barabasi Albert (BA) グラフに対して, パラメータ移動法はターゲット単層最適化における平均近似比 0.9443 を達成した。 これは98.88パーセントの最適性能を示し、未重み付きグラフの8.06倍の計算速度を持つ。
  論文  参考訳（メタデータ） (2026-01-22T08:51:03Z)
• GRADE: Replacing Policy Gradients with Backpropagation for LLM Alignment [0.0]
  GRADEは、高分散ポリシー勾配推定を直接バックプロパゲーションに置き換える手法である。 GRADE-STEはPPOの0.510+-0.313とREINFORCEの0.617+-0.378と比較して0.763+-0.344の試験報酬を得る。
  論文  参考訳（メタデータ） (2025-12-30T03:45:32Z)
• Beyond Random: Automatic Inner-loop Optimization in Dataset Distillation [11.37339433547758]
  データセット蒸留のためのAT-BPTT(Automatic Truncated Backproagation Through Time)を提案する。 AT-BPTTは、内在勾配の挙動に応じて、トラニケート位置とウィンドウサイズの両方に適応する。 CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet-1Kの実験では、AT-BPTTが最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-10-06T14:22:28Z)
• Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
  AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。 行列ベースの行列の高速化はモデルスケールに逆比例する。
  論文  参考訳（メタデータ） (2025-09-02T07:43:22Z)
• Foxtsage vs. Adam: Revolution or Evolution in Optimization? [4.939986309170004]
  本研究は、ハイブリッドFOX-TSAとグラディエントDescentを統合した新しいハイブリッド最適化手法であるFoxtsageを導入し、マルチ層パーセプトロンモデルのトレーニングを行う。 実験の結果、Foxtsageは損失平均の42.03%の減少(Foxtsage: 9.508, Adam: 16.402)、損失標準偏差の42.19%の改善(Foxtsage: 20.86, Adam: 36.085)を達成した。
  論文  参考訳（メタデータ） (2024-12-20T03:20:58Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。