論文の概要: Invariant Gradient Alignment for Robust Reasoning Distillation
- arxiv url: http://arxiv.org/abs/2606.05025v1
- Date: Wed, 03 Jun 2026 15:48:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.87011
- Title: Invariant Gradient Alignment for Robust Reasoning Distillation
- Title（参考訳）: ロバスト推論蒸留のための不変勾配配向
- Authors: Zehua Cheng, Wei Dai, Jiahao Sun,
- Abstract要約: 大規模言語モデル(LLM)は、論理構造が同一であっても、意味的表面がトレーニングデータと異なるOOD入力で失敗する。
このことは知識蒸留パイプラインを弱め、より小規模の学生にチェーン・オブ・ソート・推論を伝達する。
Invariant Gradient Alignment (IGA)は、意味的に多様だが論理的に同型な例にまたがって勾配更新を調整するトレーニングフレームワークである。
- 参考スコア（独自算出の注目度）: 9.39195684989942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) suffer from shortcut learning: they systematically fail on out-of-distribution (OOD) inputs whose semantic surface differs from training data, even when the logical structure is identical. This undermines knowledge distillation pipelines that transfer chain-of-thought reasoning to smaller students. We introduce Invariant Gradient Alignment (IGA), a training framework that aligns gradient updates across semantically diverse but logically isomorphic examples via three innovations: (i) Logical Isomer Sets, groups of problems sharing identical logical structure across distinct semantic domains (mathematics, medicine, law, science); (ii) a differentiable \emph{Continuous Gradient Conflict Mask}, that suppresses parameter dimensions with high cross-domain gradient variance while preserving invariant directions; and (iii) a truncated SVD projection of the masked gradient back onto the LoRA low-rank manifold, maintaining parameter efficiency throughout. Theoretically, IGA yields tighter OOD generalization bounds than ERM, scaling with the number of isomer domains, and converges at the standard SGD rate under mild regularity. Empirically, IGA outperforms eight baselines across four benchmarks with accuracy gains up to 14.3 pp over ERM-SFT and a Logical Consistency Score of 0.031 versus 0.142 -- a fourfold improvement in representational invariance.
- Abstract（参考訳）: 大規模言語モデル(LLM)はショートカット学習に苦しむ: 論理構造が同一であっても、意味的表面がトレーニングデータと異なるOOD入力を体系的に失敗する。
このことは知識蒸留パイプラインを弱め、より小規模の学生にチェーン・オブ・ソート・推論を伝達する。
Invariant Gradient Alignment (IGA)は,3つのイノベーションを通じて,意味的に多様だが論理的に同型な例にまたがって,勾配更新を調整するトレーニングフレームワークである。
一 論理異性体集合(数学、医学、法律、科学)
(ii)不変方向を保ちながら高いクロスドメイン勾配分散を有するパラメータ次元を抑える微分可能な \emph{Continuous Gradient Conflict Mask}
3)LoRA低ランク多様体へのマスク付き勾配の縮小SVD投影を行い,パラメータ効率の維持を図る。
理論的には、IGA は ERM よりも厳密な OOD 一般化バウンダリを得られ、異性体ドメインの数に応じてスケーリングし、穏やかな規則性の下で標準 SGD 速度で収束する。
実証的に、IGAはERM-SFTよりも14.3ppの精度を持つ4つのベンチマークで8つのベースラインを上回り、論理一貫性スコアは0.031対0.142であり、表現的不変性の4倍の改善である。
関連論文リスト
- Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T09:57:46Z) - SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization [55.63565289584336]
SimRegは埋め込み類似性正規化損失であり、各シーケンス内で同じ基幹ラベルを持つトークン表現をより類似させる。
分析の結果, この機構は多分類マージンを増大させ, より効率的な分類を可能にした。
論文 参考訳（メタデータ） (2026-05-09T08:59:13Z) - Preserving Continuous Symmetry in Discrete Spaces: Geometric-Aware Quantization for SO(3)-Equivariant GNNs [12.753341915660073]
等変モデルを圧縮・加速するGeometric-Aware Quantization (GAQ) フレームワークを提案する。
消費者向けハードウェアでは、GAQは2.39倍の推論スピードアップと4倍のメモリ削減を実現し、安定したエネルギー保存分子動力学シミュレーションを可能にする。
論文 参考訳（メタデータ） (2026-03-05T16:20:21Z) - Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-16T18:58:55Z) - Structured Contrastive Learning for Interpretable Latent Representations [2.8870482999983094]
本研究では,潜在空間表現を3つの意味群に分割するフレームワークであるStructured Contrastive Learning (SCL)を提案する。
ECG相の分散とIMU回転の実験は優れた性能を示した。
この研究は、リアクティブデータ拡張からプロアクティブな構造学習へのパラダイムシフトを表し、ニューラルネットワークにおける解釈可能な潜在表現を可能にする。
論文 参考訳（メタデータ） (2025-11-18T21:18:20Z) - Understanding Post-Training Structural Changes in Large Language Models [3.054513120350576]
後学習は大規模言語モデル(LLM)の振る舞いを根本的に変える
本研究は,指導チューニングと長鎖蒸留(Long-CoT)の2つの広く採用されているポストトレーニング手法に焦点をあてる。
論文 参考訳（メタデータ） (2025-09-22T15:03:36Z) - From Entanglement to Alignment: Representation Space Decomposition for Unsupervised Time Series Domain Adaptation [18.100665738436398]
DARSDは,表現空間の分解の観点から,UDAタスクを明示的に実現する理論的説明可能性を備えた,新しいUDAフレームワークである。
DarSDは3つの相乗的要素から構成される: (I) 意味的コンテンツを保存しながら、元の特徴をドメイン不変のサブ空間に投影する逆学習可能な共通不変基底; (II) 信頼、エラーの蓄積を妨げ、ターゲット特徴を動的に分離する擬似ラベル機構; (III) 機能クラスタリングと一貫性を同時に実施しながら、新興ディストリビューションギャップを緩和するハイブリッドコントラスト最適化戦略。
論文 参考訳（メタデータ） (2025-07-28T16:26:28Z) - Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。
学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。
また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
論文 参考訳（メタデータ） (2025-02-14T03:26:57Z) - PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文 参考訳（メタデータ） (2024-09-24T07:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。