論文の概要: Second-Order, First-Class: A Composable Stack for Curvature-Aware Training

• arxiv url: http://arxiv.org/abs/2603.25976v1
• Date: Thu, 26 Mar 2026 23:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.313843
• Title: Second-Order, First-Class: A Composable Stack for Curvature-Aware Training
• Title（参考訳）: 2階, 第一級: 曲率学習のための構成可能なスタック
• Authors: Mikalai Korbit, Mario Zanon,
• Abstract要約: 静的プランによって管理される単一のJITコンパイルステップとして、曲率対応のトレーニングを扱う、コンポーザブルなOptaxネイティブスタックであるSomaxを紹介します。 Somaxは単一ステップインターフェースの背後にある第一級モジュールを公開し、標準勾配変換を適用することでOptaxで構成する。 本稿では,構成選択がスケーリング行動や時間-精度に重大な影響を及ぼすことを示すシステム指向のアブリケーションを報告する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Second-order methods promise improved stability and faster convergence, yet they remain underused due to implementation overhead, tuning brittleness, and the lack of composable APIs. We introduce Somax, a composable Optax-native stack that treats curvature-aware training as a single JIT-compiled step governed by a static plan. Somax exposes first-class modules -- curvature operators, estimators, linear solvers, preconditioners, and damping policies -- behind a single step interface and composes with Optax by applying standard gradient transformations (e.g., momentum, weight decay, schedules) to the computed direction. This design makes typically hidden choices explicit and swappable. Somax separates planning from execution: it derives a static plan (including cadences) from module requirements, then runs the step through a specialized execution path that reuses intermediate results across modules. We report system-oriented ablations showing that (i) composition choices materially affect scaling behavior and time-to-accuracy, and (ii) planning reduces per-step overhead relative to unplanned composition with redundant recomputation.
• Abstract（参考訳）: 2階のメソッドは、安定性とより高速な収束を約束するが、実装のオーバーヘッド、不安定さのチューニング、構成可能なAPIの欠如により、まだ過小評価されている。 静的プランによって管理される単一のJITコンパイルステップとして、曲率対応のトレーニングを扱う、コンポーザブルなOptaxネイティブスタックであるSomaxを紹介します。 Somaxは、曲率演算子、推定器、線形解法、プレコンディショナー、減衰ポリシーといった第一級モジュールを単一のステップインターフェースの後方で公開し、計算された方向に標準勾配変換(運動量、重量減衰、スケジュールなど)を適用することでOptaxで構成する。 この設計は、通常、隠された選択を明示的かつスワップ可能なものにする。 Somaxは、モジュール要求から静的プラン(ケイデンスを含む)を導き、モジュール間で中間結果を再利用する特殊な実行パスを通じてステップを実行する。 システム指向の Ablations を報告します。 一 構成選択がスケーリング行動及び時間対正確性に重大な影響を及ぼすこと。 (II)計画は、冗長な再計算を伴う未計画構成に対するステップ毎のオーバーヘッドを低減する。

関連論文リスト

• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Kad: A Framework for Proxy-based Test-time Alignment with Knapsack Approximation Deferral [6.949966663998242]
  大きな言語モデル(LLM)は、ダウンストリームのタスク要求とスタイルの好みに従うために、さらに整合性を必要とする。 LLMのサイズが拡大するにつれて、アライメント手順の計算コストは違法に増加する。 本稿では,プロキシベースのテスト時間アライメントによるコスト回避手法を提案する。
  論文  参考訳（メタデータ） (2025-10-30T21:38:45Z)
• Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting [6.653834890554154]
  Logits Replay + MoClipは,ロジット空間の監視を圧縮し,更新レベルでの最適化を安定化するフレームワークである。 提案手法は,一般的なベンチマークでの忘れを軽減しつつ,コミュニケーション技術タスクのドメイン性能を向上する。
  論文  参考訳（メタデータ） (2025-10-10T08:55:32Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Centaur: Robust End-to-End Autonomous Driving with Test-Time Training [84.78837437133234]
  我々は,手作業によるルールやコスト関数に頼ることなく,テストタイムトレーニングを通じてプランナーの行動を更新するCentaurを提案する。 本稿では,クラスタ・エントロピー(Cluster Entropy,クラスタ・エントロピー)と呼ばれる新しい不確実性尺度を開発した。
  論文  参考訳（メタデータ） (2025-03-14T17:59:41Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Efficient semidefinite bounds for multi-label discrete graphical models [6.226454551201676]
  このようなモデルにおける主要なクエリの1つは、Posteri(MAP)ネットワークのコストに関するSDPWCSP関数を特定することである。 従来の二重化制約手法と,行ごとの更新に基づく専用SDP/Monteiroスタイルの手法を検討する。
  論文  参考訳（メタデータ） (2021-11-24T13:38:34Z)
• Zeroth-order non-convex learning via hierarchical dual averaging [26.023679256204737]
  我々は、ゼロ階オンライン非標準最適化のための双対動的平均化の階層バージョンを提案する。 我々は、学習者の静的なダイナミックな後悔、すなわち、舞台後部における最良のポリシーに対して、厳密な境界を導出する。
  論文  参考訳（メタデータ） (2021-09-13T09:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。