論文の概要: Geometric Calibration of Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.18634v1
• Date: Tue, 13 Oct 2026 16:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.676056
• Title: Geometric Calibration of Supervised Fine-Tuning
• Title（参考訳）: 監督された微調整の幾何学的校正
• Abstract要約: 本研究では,SFT前重みの主部分空間内でSFT更新成分を逆変換するポストホック法を開発した。 SPACEは、ドメイン内(ID)のパフォーマンスをさらに改善しながら、ドメイン外(OOD)のレグレッションを軽減します。 これらの結果は、SFT更新とSFT前の重み付けの幾何学的関係が適応モデルの能力をいかに形作るかを明らかにする。
• 参考スコア（独自算出の注目度）: 102.70563476224795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies investigate the weight geometry through its spectral structure, which characterizes how the weights transform different input directions. Within this view, supervised fine-tuning (SFT) is shown to induce dense updates that perturb the spectral geometry of pre-SFT weights along their principal directions, potentially disrupting the model's prior knowledge. These observations motivate using the geometry of pre-SFT weights as a reference for refining learned SFT updates. We study this perspective as Geometric Calibration and develop SPACE Subspace Projection for Adapted Checkpoint Enhancement), a lightweight post-hoc method that selectively reverts SFT update components within the principal subspace of the pre-SFT weights while preserving those in its orthogonal complement. SPACE is a data-free, training-free method that requires only the pre- and post-SFT checkpoints. We evaluate SPACE on Qwen2.5, Qwen3, Qwen3.5, Llama-3.1, and Olmo-3 models ranging from 2B to 14B, across mathematical, coding, and medical SFT, as well as several SFT variants. Overall, SPACE mitigates out-of-domain (OOD) capability regression while further improving in-domain (ID) performance over the uncalibrated SFT checkpoints. For math SFT, SPACE yields average ID/OOD gains of 2.85/2.26 points on Qwen2.5-7B, and 2.41/1.52 points on Qwen3-14B-Base, respectively. These results highlight how the geometric relationship between SFT updates and pre-SFT weights shapes the adapted model's capabilities and, more broadly, motivate geometry-aware parameter updates for continual model improvement.
• Abstract（参考訳）: 近年の研究では、重みが異なる入力方向をどのように変換するかを特徴付けるスペクトル構造による重み幾何学について研究している。 この視点では、教師付き微調整(SFT)は、事前SFT重みのスペクトル幾何学を主方向に沿って乱すような密接な更新を誘導し、モデルの事前の知識を損なう可能性がある。 これらの観測は、学習したSFT更新を精錬するための基準として、SFT前の重みの幾何学を用いて動機づけている。 我々はこの視点を幾何学的校正として研究し、SFT更新成分をSFT前の重みの主部分空間内で選択的に反転させる軽量なポストホック法であるSPACE部分空間投影法を開発した。 SPACEはデータフリーでトレーニングなしのメソッドで、SFTチェックポイントとポストSFTチェックポイントのみを必要とする。 Qwen2.5, Qwen3, Qwen3.5, Llama-3.1, Olmo-3の各モデルに対するSPACEの評価を行った。 全体として、SPACEはオフ・オブ・ドメイン(OOD)能力の低下を軽減し、未調整のSFTチェックポイント上でのドメイン内(ID)性能をさらに改善する。 SPACEは平均ID/OODゲインをQwen2.5-7Bで2.85/2.26点、Qwen3-14B-Baseで2.41/1.52点とする。 これらの結果は、SFT更新とSFT前の重み付けの幾何学的関係が適応モデルの能力をどのように形作り、より広範に、連続モデル改善のための幾何学的パラメータ更新を動機付けているかを明らかにする。

関連論文リスト

• Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features [14.161295861192727]
  Supervised Fine-tuning (SFT) は、最も積極的な学習をトークンから行う。 本稿では,事前学習モデルとSFTデルタを凍結するエントロピー誘導型適応強度制御法を提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:17:22Z)
• Surfsvr: 2D Surface Priors as 3D Geometric Regularizers for Sparse Voxel Reconstruction [56.51413081953813]
  SurfSVRは2次元表面の先行を明示的な3次元幾何正規化器として扱う新しいスパースボクセル再構成パラダイムである。 鮮明なボクセルの再現は、視認性と幾何学的特性が著しく異なる場面で一貫して改善される。
  論文  参考訳（メタデータ） (2026-08-12T11:25:31Z)
• Geometry-Aware Neural Optimizer for Shape Optimization and Inversion [14.303592801147225]
  幾何学はPDEが支配するシステムの中心であり、形状最適化と反転を動機付けている。 textbftextscGANOは、幾何学表現、フィールドレベルの予測、および単一の潜在空間ループにおける自動最適化/反転を統一する。 textscGANOはヌルスペースプロジェクションによる部分的制御をサポートし、レメッシングフリープロジェクションを使用して幾何学処理を高速化する。
  論文  参考訳（メタデータ） (2026-05-06T03:51:22Z)
• Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
  本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。 実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
  論文  参考訳（メタデータ） (2026-02-08T09:53:21Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• A Cross-Domain Graph Learning Protocol for Single-Step Molecular Geometry Refinement [0.47664901548798794]
  GeoOpt-Net (GeoOpt-Net) は、B3LYP/TZVP理論のDFT品質構造を1つの前方通過で予測する多分岐SE(3)等変幾何改善ネットワークである。 GeoOpt-Netは、DFT収束基準と本質的に互換性のある初期推定を生成し、非ゼロのAll-YES'収束率をもたらす。 これらの結果は、DFTに基づく量子化学予測の効率的な加速を可能にするスケーラブルで物理的に一貫した幾何補正フレームワークとしてGeoOpt-Netを確立する。
  論文  参考訳（メタデータ） (2026-01-30T08:55:46Z)
• On Geometry-Enhanced Parameter-Efficient Fine-Tuning for 3D Scene Segmentation [52.96632954620623]
  本稿では3Dポイント・クラウド・トランス用に設計された新しい幾何対応PEFTモジュールを提案する。 当社のアプローチでは,大規模3Dポイントクラウドモデルの効率的,スケーラブル,かつ幾何を考慮した微調整のための新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2025-05-28T15:08:36Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。