論文の概要: Second-Order, First-Class: A Composable Stack for Curvature-Aware Training

• arxiv url: http://arxiv.org/abs/2603.25976v1
• Date: Thu, 26 Mar 2026 23:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.313843
• Title: Second-Order, First-Class: A Composable Stack for Curvature-Aware Training
• Title（参考訳）: 2階, 第一級: 曲率学習のための構成可能なスタック
• Abstract要約: 静的プランによって管理される単一のJITコンパイルステップとして、曲率対応のトレーニングを扱う、コンポーザブルなOptaxネイティブスタックであるSomaxを紹介します。 Somaxは単一ステップインターフェースの背後にある第一級モジュールを公開し、標準勾配変換を適用することでOptaxで構成する。 本稿では,構成選択がスケーリング行動や時間-精度に重大な影響を及ぼすことを示すシステム指向のアブリケーションを報告する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Second-order methods promise improved stability and faster convergence, yet they remain underused due to implementation overhead, tuning brittleness, and the lack of composable APIs. We introduce Somax, a composable Optax-native stack that treats curvature-aware training as a single JIT-compiled step governed by a static plan. Somax exposes first-class modules -- curvature operators, estimators, linear solvers, preconditioners, and damping policies -- behind a single step interface and composes with Optax by applying standard gradient transformations (e.g., momentum, weight decay, schedules) to the computed direction. This design makes typically hidden choices explicit and swappable. Somax separates planning from execution: it derives a static plan (including cadences) from module requirements, then runs the step through a specialized execution path that reuses intermediate results across modules. We report system-oriented ablations showing that (i) composition choices materially affect scaling behavior and time-to-accuracy, and (ii) planning reduces per-step overhead relative to unplanned composition with redundant recomputation.
• Abstract（参考訳）: 2階のメソッドは、安定性とより高速な収束を約束するが、実装のオーバーヘッド、不安定さのチューニング、構成可能なAPIの欠如により、まだ過小評価されている。 静的プランによって管理される単一のJITコンパイルステップとして、曲率対応のトレーニングを扱う、コンポーザブルなOptaxネイティブスタックであるSomaxを紹介します。 Somaxは、曲率演算子、推定器、線形解法、プレコンディショナー、減衰ポリシーといった第一級モジュールを単一のステップインターフェースの後方で公開し、計算された方向に標準勾配変換(運動量、重量減衰、スケジュールなど)を適用することでOptaxで構成する。 この設計は、通常、隠された選択を明示的かつスワップ可能なものにする。 Somaxは、モジュール要求から静的プラン(ケイデンスを含む)を導き、モジュール間で中間結果を再利用する特殊な実行パスを通じてステップを実行する。 システム指向の Ablations を報告します。 一 構成選択がスケーリング行動及び時間対正確性に重大な影響を及ぼすこと。 (II)計画は、冗長な再計算を伴う未計画構成に対するステップ毎のオーバーヘッドを低減する。

関連論文リスト

• Reconfiguration-Complete Motion Primitives with Constructive Planning for Deformable Planar Modular Robots [12.157600704536533]
  このレターでは、変形可能なrhombusモジュールを固定サイズのグリッドセルにマッピングする正方形セル抽象化を紹介している。 N geq 7$ の任意の非直線エッジ接続構成は、許容可能な原始運動のみを用いて固定階段標準に変換可能であることを証明した。
  論文  参考訳（メタデータ） (2026-08-18T03:34:54Z)
• Scalable Deep Unfolding of Conic Optimizers [16.022960827366067]
  Deep Openfolding (DU)は、学習可能なコンポーネントを導入し、未学習のイテレーションを通じてそれらをトレーニングすることで、反復を加速します。 COSMOのような完全更新された円錐解法をアンロールすると、学習した円錐解法に先立つ2つの障害が露呈する。 行列のない暗黙差分法で最初の障害に対処し、メモリを$O(n2)$から$O(n)$に減らし、直接分解がメモリを使い果たしたスケールでのバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2026-06-11T18:58:09Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• ReCAPA: Hierarchical Predictive Correction to Mitigate Cascading Failures [11.399289646886968]
  予測とコントラストを用いて3つのレベル(アクション、サブゴール、トラジェクトリ)の偏差を調整するフレームワークを提案する。 タスクにおけるエラーの伝搬と回復の過程を定量化する2つの新しい指標を導入する。 実験の結果、ReCAPAはVisualAgentBench、MineDojo、AI2-THORなどの組み込みエージェントベンチマークで競合する結果を得た。
  論文  参考訳（メタデータ） (2026-04-23T02:57:50Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Kad: A Framework for Proxy-based Test-time Alignment with Knapsack Approximation Deferral [6.949966663998242]
  大きな言語モデル(LLM)は、ダウンストリームのタスク要求とスタイルの好みに従うために、さらに整合性を必要とする。 LLMのサイズが拡大するにつれて、アライメント手順の計算コストは違法に増加する。 本稿では,プロキシベースのテスト時間アライメントによるコスト回避手法を提案する。
  論文  参考訳（メタデータ） (2025-10-30T21:38:45Z)
• Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting [6.653834890554154]
  Logits Replay + MoClipは,ロジット空間の監視を圧縮し,更新レベルでの最適化を安定化するフレームワークである。 提案手法は,一般的なベンチマークでの忘れを軽減しつつ,コミュニケーション技術タスクのドメイン性能を向上する。
  論文  参考訳（メタデータ） (2025-10-10T08:55:32Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Centaur: Robust End-to-End Autonomous Driving with Test-Time Training [84.78837437133234]
  我々は,手作業によるルールやコスト関数に頼ることなく,テストタイムトレーニングを通じてプランナーの行動を更新するCentaurを提案する。 本稿では,クラスタ・エントロピー(Cluster Entropy,クラスタ・エントロピー)と呼ばれる新しい不確実性尺度を開発した。
  論文  参考訳（メタデータ） (2025-03-14T17:59:41Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Efficient semidefinite bounds for multi-label discrete graphical models [6.226454551201676]
  このようなモデルにおける主要なクエリの1つは、Posteri(MAP)ネットワークのコストに関するSDPWCSP関数を特定することである。 従来の二重化制約手法と,行ごとの更新に基づく専用SDP/Monteiroスタイルの手法を検討する。
  論文  参考訳（メタデータ） (2021-11-24T13:38:34Z)
• Zeroth-order non-convex learning via hierarchical dual averaging [26.023679256204737]
  我々は、ゼロ階オンライン非標準最適化のための双対動的平均化の階層バージョンを提案する。 我々は、学習者の静的なダイナミックな後悔、すなわち、舞台後部における最良のポリシーに対して、厳密な境界を導出する。
  論文  参考訳（メタデータ） (2021-09-13T09:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。