論文の概要: Which Geometry on Which Layer? Measured Sign-Spectral Assignment in Mixed-Optimizer Training

• arxiv url: http://arxiv.org/abs/2610.17285v1
• Date: Mon, 12 Oct 2026 18:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:24:01.853995
• Title: Which Geometry on Which Layer? Measured Sign-Spectral Assignment in Mixed-Optimizer Training
• Title（参考訳）: どの層にどのような幾何学があるか : 混合オプティマイザ訓練における信号スペクトルアサインメントの測定
• Abstract要約: 現代のニューラルネットワークトレーニングでは、AdamWライクまたはサインベースの更新を埋め込み層と出力層に割り当て、スペクトル更新を隠れ行列に割り当てる、混合レシピを使用する。 我々は、符号対逆スペクトルの割り当てを測定可能な階層的決定問題に変換する。 G-Scionは、メモリレスおよび一致したモメンタム比較において、固定されたScionに対するバリデーション損失を改善する。
• 参考スコア（独自算出の注目度）: 19.11224100760399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural-network training uses mixed recipes, assigning AdamW-like or sign-based updates to embedding and output layers and spectral updates to hidden matrices. These assignments are usually fixed by layer type, without a clear criterion for selecting the appropriate geometry. We turn sign-versus-spectral assignment into a measurable, layerwise decision problem. For ideal memoryless steps, we derive a finite-batch ratio of conservative descent-lemma lower bounds for spectral and sign updates. Its closed form separates signal efficiency from a geometry-dependent global curvature factor. In the positive-signal regime, the same smoothness assumption gives two-sided bounds that determine which step has the larger conditional expected decrease when the ratio crosses explicit noise-dependent thresholds. We then derive a local directional quadratic score from gradient alignments and Hessian-vector products and use it in Generalized-Scion (G-Scion) to control layerwise routing. In a controlled input-rank experiment, including directional curvature matches the measured same-iterate ordering in all seven aggregate settings, whereas the curvature-free proxy selects the opposite geometry. On 31M GPT-2, the output score routes the output layer from spectral warmup to sign, and G-Scion improves validation loss over fixed Scion in memoryless and matched-momentum comparisons. ViT-B/16 results further show that a spectral edge assignment can outperform fixed Scion outside language modelling. These results suggest that optimizer geometry need not be hard-coded by layer type and are a first step toward understanding how it should be assigned.
• Abstract（参考訳）: 現代のニューラルネットワークトレーニングでは、AdamWライクまたはサインベースの更新を埋め込み層と出力層に割り当て、スペクトル更新を隠れ行列に割り当てる、混合レシピを使用する。 これらの割り当ては通常、適切な幾何学を選択するための明確な基準を持たず、層型によって固定される。 我々は、符号対スペクトルの割り当てを測定可能な階層的決定問題に変換する。 理想的なメモリレスステップでは、スペクトルと符号の更新のために、保守的な降下補題の下限の有限バッチ比を導出する。 その閉形式は、信号効率を幾何学に依存した大域曲率係数から分離する。 正信号系において、同じ滑らか性仮定は、比が明示的なノイズ依存しきい値を超えたときに、どのステップがより大きい条件予測減少を持つかを決定する二辺境界を与える。 次に、勾配アライメントとヘッセンベクトル積から局所方向の2次スコアを導出し、これを一般化Scion(G-Scion)で利用し、層状ルーティングを制御する。 方向曲率を含む制御された入力ランク実験では、7つの集合設定すべてで測定された同値順序と一致し、一方、曲率のないプロキシは反対の幾何学を選択する。 31M GPT-2では、出力スコアは、出力層をスペクトルウォームアップから符号にルーティングし、G-Scionは、メモリレスとマッチしたモメンタムの比較において、固定シオンの検証損失を改善する。 ViT-B/16の結果は、スペクトルエッジの割り当てが、言語モデリング以外の固定されたScionよりも優れていることを示している。 これらの結果は、オプティマイザ・ジオメトリは層タイプによってハードコーディングされる必要はなく、どのようにアサインすべきかを理解するための第一歩であることを示唆している。

関連論文リスト

• Projective Normal Fields: A Convex Optimization Method for Constructing Smooth UDFs [68.08537394769392]
  本稿では,原点雲からの距離場(UDF)の滑らかな近似を構築するためのフレームワークを提案する。 局所幾何推定をスカラーフィールド構造から分離することにより、PNFは非微分可能なUDFを直接適合させない。
  論文  参考訳（メタデータ） (2026-09-28T09:55:50Z)
• Generative Diffusion Models of Stochastic Graph Signals [74.4097723209053]
  本稿では,条件付きグラフ信号生成モデルの問題に取り組み,単一の拡散フレームワークを用いてそれらに取り組む。 グラフトポロジとノード機能側情報に基づいて直接条件付きグラフ信号を描画するグラフニューラルネットワーク(GNN)によりパラメータ化された逆拡散過程を学習する。 本稿では,株価予測と最適無線リソース割り当てという2つの生成課題について,両領域で広範囲に数値計算を行った。
  論文  参考訳（メタデータ） (2026-07-07T22:02:13Z)
• Understanding Geometric Representations in Self-Supervised Vision Transformers via Subspace Intervention [7.887469434417159]
  本研究では、自己教師型視覚変換器(ViT)が高密度な幾何学的情報をエンコードする方法を検討するために、制御されたサブスペース介入フレームワークを導入する。 これらの知見は、内部符号化機構と下流性能を結合することにより、効率的な特徴選択と軽量デコーダ設計の基礎となる。
  論文  参考訳（メタデータ） (2026-07-02T10:18:02Z)
• Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning [15.386002863432678]
  オープンセット半教師付き学習は、アウト・オブ・ディストリビューション・アウトリーを含む可能性のあるラベルのないデータを活用することを目的としている。 既存の手法は主に、疑わしいサンプルをフィルタリングするか、ラベルなしの目的をソフトな重み付けに組み込むという2つのパラダイムに従っている。 攻撃的フィルタリングは情報的だがハードなIDサンプルを捨てることが可能であり、一方、利用は疑似ラベルが間違っている場合に教師付き学習と矛盾する補助的な勾配を導入することができる。 教師付き勾配をアンカーとして使用するプラグインフレームワークである textitGeometric Gradient Rectification (GGR) を提案する。
  論文  参考訳（メタデータ） (2026-06-25T12:45:42Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• GeoPAS: Geometric Probing for Algorithm Selection in Continuous Black-Box Optimisation [2.2060294178354307]
  GeoPASは、位置、向き、対数スケールでサンプリングされた複数の粗い2次元スライスによって問題インスタンスを表す。 共有妥当性を考慮した畳み込みエンコーダは、各スライスを埋め込みにマッピングし、スライススケールおよび振幅統計に基づいて条件付けする。 GeoPASは、離脱確率、グループランダム、離脱確率の評価の下で、単一最適解法よりも改善する。
  論文  参考訳（メタデータ） (2026-04-10T08:24:37Z)
• SPINAL -- Scaling-law and Preference Integration in Neural Alignment Layers [16.976750197698063]
  本研究では,深度にまたがってアライメントが表現にどう影響するかを測定する診断手法であるSPINALを紹介する。 モデルファミリ全体で、DPOは最終デコーダブロックに集中する層ワイドキャリブレーション効果を生成する。 調整されたチェックポイントは、収縮の後期層の増加と輸送の円滑な減少を示し、厳密で安定した政策質量と一致している。
  論文  参考訳（メタデータ） (2026-01-08T17:47:12Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。