論文の概要: HyperTransfer: Understanding the Equivalence between Base Optimizer and Hyperball

• arxiv url: http://arxiv.org/abs/2609.07017v1
• Date: Mon, 07 Sep 2026 04:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.360115
• Title: HyperTransfer: Understanding the Equivalence between Base Optimizer and Hyperball
• Title（参考訳）: HyperTransfer: ベース最適化とハイパーボールの等価性を理解する
• Abstract要約: ハイパーボールはパラメータノルムを制約し、方向のみを更新する。 この2つのパラダイムは,スケール・イン・バリアント・ネットワークに対して動的に等価であることを示す。
• 参考スコア（独自算出の注目度）: 28.15961897081161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperball optimizers constrain parameter norms and update only their directions, establishing a distinct paradigm for neural network optimization. Although this geometry appears fundamentally different from that of conventional Base Optimizers, which update both parameter norms and directions, we show that the two paradigms are dynamically equivalent for scale-invariant networks. Building on this equivalence, we propose HyperTransfer, which constructs a Hyperball optimizer that reproduces the dynamics of a target Base Optimizer using only its initialization and learning-rate schedule, without running the target optimizer itself. We further derive the inverse mapping and extend the framework to non-scale-invariant networks. Experiments show that both HyperTransfer and the inverse mapping produce loss trajectories nearly identical to those of their targets, suggesting that Hyperball dynamics are governed primarily by the induced effective learning-rate schedule and optimizer state.
• Abstract（参考訳）: ハイパーボールオプティマイザはパラメータノルムを制約し、その方向のみを更新する。 パラメータノルムと方向の両方を更新する従来のベースオプティマイザとは根本的に異なるように見えるが、この2つのパラダイムはスケール不変ネットワークに対して動的に等価であることを示す。 この等価性に基づいてHyperTransferを提案する。ハイパーボールオプティマイザは,対象ベースオプティマイザ自体を動作させることなく,初期化と学習率のスケジュールのみを用いて,対象ベースオプティマイザのダイナミクスを再現する。 さらに逆写像を導出し、フレームワークを非スケール不変ネットワークに拡張する。 実験の結果,HyperTransferと逆写像の両方が目標とほぼ同一の損失軌跡を生じており,ハイパーボールのダイナミクスは,主に効果的な学習スケジュールとオプティマイザ状態によって制御されていることが示唆された。

関連論文リスト

• Neural Network Pruning via QUBO Optimization [0.08796261172196741]
  グローバル最適化による推定の重要性を橋渡しするハイブリッドQUBOフレームワークを提案する。 本定式化では,2次項におけるデータ駆動的類似性を活用しながら,勾配認識感度指標を線形項に統合する。 SIDD画像復調データセットの実験では、提案されたハイブリッドQUBOは、グリーディ・テイラープルーニングと従来のL1ベースのQUBOの両方で著しく優れていた。
  論文  参考訳（メタデータ） (2026-04-07T13:16:40Z)
• HyperAlign: Hypernetwork for Efficient Test-Time Alignment of Diffusion Models [23.070399327132737]
  本稿では,効率的なテスト時間アライメントのためにハイパーネットワークをトレーニングする新しいフレームワークを提案する。 潜在状態を変更する代わりに、HyperAlignは拡散モデルの生成演算子を変調するために、動的に低ランク適応重みを生成する。 セマンティック一貫性と視覚的魅力を高めるために、既存の微調整とテストタイムのスケーリングベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-01-22T13:49:47Z)
• Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
  複雑な状態における最適化のダイナミクスを記述できる理論を開発する。 この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services [25.889791254011794]
  クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。 他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。 異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
  論文  参考訳（メタデータ） (2023-04-20T02:19:10Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians [5.33024001730262]
  自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。 トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
  論文  参考訳（メタデータ） (2020-10-26T12:12:23Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。