論文の概要: Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules

• arxiv url: http://arxiv.org/abs/2610.32801v1
• Date: Fri, 23 Oct 2026 15:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.598372
• Title: Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules
• Title（参考訳）: 学習したオプティマイザスケジューリングにおける乗法対加算状態のカップリング
• Abstract要約: 我々は,古典解法をバックプロパゲートすることで,MAX-CUTの連続的ペナルティ緩和のスケジュールを学習する。 状態ブラインドスケジュールは、トレーニングで使用されるものよりもはるかに大きなインスタンスに一般化される。 状態適応型双線形スケジュールもまた分布を一般化し、訓練されていないベースラインを15種で上回っている。
• 参考スコア（独自算出の注目度）: 31.970955722800085
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We learn schedules for a continuous penalty relaxation of MAX-CUT by backpropagating through an unrolled classical solver. A state-blind schedule generalizes to instances substantially larger than those used for training. A state-adaptive bilinear schedule also generalizes out of distribution, outperforming its untrained baseline across 15 seeds ($t=4.1$). By contrast, an additive ablation with identical inputs and output heads is statistically indistinguishable from the bilinear model in distribution but performs worse than its own baseline out of distribution ($t=-11.7$). This separation appears without regularization and persists across a $30$ round weight-decay sweep: the bilinear advantage remains significant at every tested value, whereas the additive model never recovers. The results in this setting isolate how solver state enters the schedule, rather than state adaptivity alone, as the architectural distinction associated with out-of-distribution transfer.
• Abstract（参考訳）: 我々は,古典解法をバックプロパゲートすることにより,MAX-CUTの連続的なペナルティ緩和のスケジュールを学習する。 状態ブラインドスケジュールは、トレーニングで使用されるものよりもはるかに大きなインスタンスに一般化される。 州適応の双線形スケジュールもまた分布を一般化し、15の種(t=4.1$)で訓練されていないベースラインを上回っている。 対照的に、同じ入力と出力ヘッドを持つ加算アブレーションは、分布における双線形モデルと統計的に区別できないが、分布から外れた自身のベースラインよりも悪い(t=-11.7$)。 この分離は正規化せずに現れ、30ドル(約3万3000円)の重量減少スイープに持続する: 双線形の優位性はテストされたすべての値において重要なままだが、加法モデルは回復しない。 この設定の結果は、状態適応性のみではなく、解法状態がスケジュールにどのように入るのかを、アウト・オブ・ディストリビューション・トランスファーに関連するアーキテクチャ上の区別として分離する。

関連論文リスト

• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• Double Descent and Malign Overfitting in Diffusion Models [5.939780039158003]
  拡散モデルの過度な適合は破滅的であり、モデルを体制へと駆り立てる。 トレーニングサンプルあたりの雑音実現の固定数$m$では、2次ピークが発生するが、標準回帰のように$psim n$ではなく$psim nm$となる。 この過度な適合は、トレーニングの暗黙の規則化が完全に作業中であるにもかかわらず、真のスコアではなく、経験的なスコアに向かってモデルを駆動するからである。
  論文  参考訳（メタデータ） (2026-09-22T13:30:48Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。