論文の概要: Spectral Rewiring for Exploration, Purification, and Model Merging

• arxiv url: http://arxiv.org/abs/2607.03065v1
• Date: Fri, 03 Jul 2026 07:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.511914
• Title: Spectral Rewiring for Exploration, Purification, and Model Merging
• Title（参考訳）: 探索・浄化・モデル融合のためのスペクトル再構成
• Abstract要約: Subspace-Aligned Rewiring (SAR)は、コンポーネントを削除しながら推論ゲインを保持するポストホックな編集方法である。 本研究は,SARがポストトレーニング性能の99%以上を保ち,数学的推論における高K探索を改善することを示す。 また、算術的推論と後続の指示を維持しながら、抑圧された符号化能力をリリースすることにより、混合ドメインのトレーニング更新を浄化する。
• 参考スコア（独自算出の注目度）: 40.70734593668918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has become a standard post-training recipe for large language models, but dense full-parameter updates create two deployment-relevant bottlenecks: suppressed reasoning performance, often reflected by premature saturation of test-time scaling, and interference when consolidating multiple capabilities through multi-domain training or model merging. We show that the reasoning-effective component of these updates is largely concentrated in the base model's spectral space, motivating Subspace-Aligned Rewiring (SAR), a post-hoc editing method that retains this spectral core while removing orthogonal components. SAR therefore preserves reasoning gains and filters residual update directions that suppress performance or amplify cross-domain interference. Across several model families and scales, SAR extracts compact reasoning cores using as little as approximately 0.58% of total parameters: it preserves over 99% of post-training performance and improves high-k exploration in mathematical reasoning, and generalizes to agentic coding by improving six of seven open benchmarks on an in-house model. SAR also purifies mixed-domain training updates by releasing suppressed coding capability while maintaining math reasoning and instruction following. It further enables model merging across experts, yielding cross-domain generalization that surpasses previous merging baselines and even the best single-domain experts. Overall, SAR shows that extracting reasoning-effective updates from parameter geometry can serve as a training-free mechanism to improve reasoning and multi-domain performance.
• Abstract（参考訳）: 強化学習は大規模言語モデルのトレーニング後の標準的なレシピとなっているが、厳密なフルパラメータ更新は2つのデプロイメント関連ボトルネックを生み出している。 直交成分を除去しながらスペクトルコアを保持するポストホック編集法であるSubspace-Aligned Rewiring (SAR) を動機付ける。 したがって、SARは推論ゲインを保持し、性能を抑えたり、ドメイン間の干渉を増幅する残差更新方向をフィルタする。 複数のモデルファミリとスケールにわたって、SARは、総パラメータの0.58%程度でコンパクトな推論コアを抽出する。これは、トレーニング後のパフォーマンスの99%以上を保持し、数学的推論における高いk探索を改善し、社内モデルで7つのオープンベンチマークのうち6つを改善することでエージェントコーディングに一般化する。 SARはまた、算数の推論と指示の追従を維持しながら、抑圧された符号化能力をリリースすることにより、混合ドメインのトレーニング更新を浄化する。 さらに、エキスパート間のモデルマージを可能にし、以前のマージベースラインを超えるクロスドメインの一般化と、最高の単一ドメインのエキスパートさえも得る。 全体として、SARは、パラメータ幾何から推論に有効な更新を抽出することが、推論とマルチドメインのパフォーマンスを改善するためのトレーニング不要のメカニズムとして機能することを示している。

関連論文リスト

• GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution [5.770893169582546]
  この研究は、属性をサブセットレベルの反事実的ユーティリティ予測として再定義する。 相互作用を意識したサロゲートであるGRASPを紹介する。 それは、既存のスケーラブルなベースラインを決定的に上回る。
  論文  参考訳（メタデータ） (2026-06-05T04:17:50Z)
• Inference-Time Scaling in Diffusion Models through Iterative Partial Refinement [22.349959761835468]
  推論時間のスケーリングは、推論能力を改善するための主要なアプローチとして現れています。 逐次拡散のための推論時間スケーリング手法である反復部分分極(IPR)を提案する。 IPRは外部認証なしでよりグローバルに一貫したサンプルを生成する。
  論文  参考訳（メタデータ） (2026-05-19T03:53:50Z)
• FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences [13.320173396455226]
  本稿では,長周期計算時間解析のためのフラクショナル・リカレント・アーキテクチャを提案する。 スペクトル特性とチューナブル指数を解析的に特徴づけた投影演算子を導出することにより,分数スケール不変メモリダイナミクスを符号化したスペクトル構造を保ちながら,近年の信号摂動に敏感な手法を提案する。 FRACTALはLong Range Arenaベンチマークで平均87.11%のスコアを獲得し、リストOpsタスクでは61.85%でS5モデルを上回った。
  論文  参考訳（メタデータ） (2026-05-09T09:38:44Z)
• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• Recursive Concept Evolution for Compositional Reasoning in Large Language Models [0.0]
  大規模言語モデルは、多くの複雑な推論タスクにおいて強力な性能を達成するが、その精度は、構成的推論を必要とするベンチマークで著しく低下する。 本稿では、事前学習した言語モデルが推論中に内部表現の幾何を変更することができるフレームワークであるRecursive Concept Evolution (RCE)を提案する。 RCEはARC-AGI-2で12-18点、GPQAとBBHで8-14点、MATHとHLEで深度誘起誤差が一貫して減少する。
  論文  参考訳（メタデータ） (2026-02-17T17:01:42Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning [6.262268096839562]
  ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。 既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。 Singular Value De Minor Components Adaptation (SoMA) を導入する。
  論文  参考訳（メタデータ） (2024-12-05T11:17:57Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。