論文の概要: Towards Efficient LLMs Annealing with Principled Sample Selection

• arxiv url: http://arxiv.org/abs/2605.31175v1
• Date: Fri, 29 May 2026 11:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.575601
• Title: Towards Efficient LLMs Annealing with Principled Sample Selection
• Title（参考訳）: 原理的サンプル選択によるLLMの効率向上に向けて
• Abstract要約: 最適収束は、異なる固有方向にわたる不均一な制約を満たすために勾配更新を必要とする。 本稿では,アニーリング段階におけるサンプル選択を制約付き最適化問題として再構成する新しいフレームワークであるDiReCTを提案する。
• 参考スコア（独自算出の注目度）: 8.369375549294046
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The annealing phase is a pivotal convergence stage in LLM pre-training that ultimately determines final model quality. However, effectively selecting training data during this phase remains a key challenge. Current strategies rely on empirical heuristics, such as domain filtering or context extension, which lack a principled grounding in optimization theory. In this work, we characterize the annealing phase through the lens of the loss landscape's spectral geometry. We argue that optimal convergence requires gradient updates to satisfy heterogeneous constraints across different eigen-directions. Building on this insight, we formulate data selection as a problem of satisfying these directional constraints. To this end, we propose DiReCT (Directionally-Restrained Constrained Training), a novel framework that reformulates sample selection in the annealing stage as a constrained optimization problem. By imposing explicit directional constraints on per-sample gradients based on the spectral properties of the Hessian, DiReCT identifies samples that align with the optimal curvature-aware descent path. Extensive experiments across various model scales demonstrate that DiReCT consistently achieves state-of-the-art performance. For future research, code is available at https://github.com/xuyj233/Direct.
• Abstract（参考訳）: 焼鈍相はLLM事前学習における中心収束段階であり、最終的なモデル品質を決定する。 しかし、このフェーズで効果的にトレーニングデータを選択することは重要な課題である。 現在の戦略は、ドメインフィルタリングやコンテキスト拡張のような経験的ヒューリスティックに頼っており、最適化理論の原理的な基礎を欠いている。 本研究では,ロスランドスケープのスペクトル幾何学のレンズによるアニール相を特徴付ける。 最適収束は、異なる固有方向にわたる不均一な制約を満たすために勾配更新を必要とする。 この知見に基づいて、これらの方向制約を満たす問題として、データ選択を定式化する。 そこで本研究では,アニーリング段階におけるサンプル選択を制約付き最適化問題として再構成する新しいフレームワークである DiReCT (Directionally-Restrained Constrained Training) を提案する。 DiReCTは、ヘッセンのスペクトル特性に基づいて、サンプルごとの勾配に明確な方向の制約を課すことで、最適な曲率認識下降経路と整合するサンプルを同定する。 様々なモデルスケールにわたる大規模な実験は、DiReCTが常に最先端のパフォーマンスを達成することを示した。 将来の研究のために、コードはhttps://github.com/xuyj233/Directで入手できる。

関連論文リスト

• A Defense of the Quadratic Model [71.57026347416729]
  最も単純な最適化モデル -- 二次モデル -- をテストする。 1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
  論文  参考訳（メタデータ） (2026-07-23T18:02:03Z)
• Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
  連続蒸留は拡散モデルの推論を 著しく加速させました 本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。 提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
  論文  参考訳（メタデータ） (2026-06-21T08:49:50Z)
• Quantum Tilted Loss in Variational Optimization: Theory and Applications [2.274915755738124]
  最適化ランドスケープを再構築するために、Quantum Tilted Loss (QTL)を導入します。 QTLは、問題の真のグローバルなミニマを保ちながら、構造化された設定で勾配信号を増幅することができる。 トレーニング可能性と予測可能性のトレードオフを形式化し、アグレッシブな傾きが最適化のボトルネックを根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-05-04T17:25:43Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness [1.5892054128426507]
  ヘッセンノルムは勾配ノルムとともに線型に成長することを許され、したがってリプシッツの滑らかさを超えて急速に変化する勾配を調節する。 我々は、指向性通信グラフ上の正確な収束を保証するため、勾配追従手法と勾配クリッピングを統合する。 本研究の結果は, 勾配差が非有界である場合でも有効であり, 提案手法は現実的な異種データ環境に適用可能である。
  論文  参考訳（メタデータ） (2026-01-07T04:25:33Z)
• Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes [7.446140380340418]
  Coreset選択は、完全なデータセットのパフォーマンスを近似する、小さな、代表的なデータのサブセットを特定することで、トレーニングを加速することを目的としている。 勾配に基づく手法は、特に限られたデータ予算の下で、強力な理論的基盤と実用的な利益のために際立っている。 本稿では、これらの制約に対処する新しいフレームワークを提案する。まず、後方サンプリングとロスランドスケープの接続を確立し、高データ破損シナリオにおいてもロバストなコアセット選択を可能にする。
  論文  参考訳（メタデータ） (2025-11-21T17:00:00Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints [55.39203337683045]
  拡散モデルを用いてデータ多様体内で最適化を行う。 目的関数の微分可能性に応じて,2つの異なるサンプリング手法を提案する。 提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-28T03:09:12Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Temporal-spatial model via Trend Filtering [12.875863572064986]
  本研究は、時間と空間の同時依存性を持つデータを対象とした非パラメトリック回帰関数の推定に焦点をあてる。 トレンド・フィルタの研究で以前は知られていなかった一意の相転移現象が、我々の分析を通して現れる。
  論文  参考訳（メタデータ） (2023-08-30T17:50:00Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。