論文の概要: The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment
- arxiv url: http://arxiv.org/abs/2604.06377v1
- Date: Tue, 07 Apr 2026 19:02:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.195024
- Title: The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment
- Title（参考訳）: マスターキー仮説:線形部分空間アライメントによるクロスモデル機能移行の解錠
- Abstract要約: 本研究は, モデル間で再訓練をすることなく, ポストトレーニング能力の伝達が可能であるかどうかを考察する。
CoT(Chain-of-Thought)や数学的推論を含む推論行動の実験は、トレーニングなしでのモデルスケールにおける大幅な改善を示している。
- 参考スコア（独自算出の注目度）: 43.47382305895089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate whether post-trained capabilities can be transferred across models without retraining, with a focus on transfer across different model scales. We propose the Master Key Hypothesis, which states that model capabilities correspond to directions in a low-dimensional latent subspace that induce specific behaviors and are transferable across models through linear alignment. Based on this hypothesis, we introduce UNLOCK, a training-free and label-free framework that extracts a capability direction by contrasting activations between capability-present and capability-absent Source variants, aligns it with a Target model through a low-rank linear transformation, and applies it at inference time to elicit the behavior. Experiments on reasoning behaviors, including Chain-of-Thought (CoT) and mathematical reasoning, demonstrate substantial improvements across model scales without training. For example, transferring CoT reasoning from Qwen1.5-14B to Qwen1.5-7B yields an accuracy gain of 12.1% on MATH, and transferring a mathematical reasoning direction from Qwen3-4B-Base to Qwen3-14B-Base improves AGIEval Math accuracy from 61.1% to 71.3%, surpassing the 67.8% achieved by the 14B post-trained model. Our analysis shows that the success of transfer depends on the capabilities learned during pre-training, and that our intervention amplifies latent capabilities by sharpening the output distribution toward successful reasoning trajectories.
- Abstract（参考訳）: 本研究は, モデルスケールの異なるモデルスケールでの移動に着目し, 再訓練をせずに, モデル間でのポストトレーニング能力の伝達について検討する。
モデル能力は低次元潜在部分空間の方向に対応し、特定の振舞いを誘発し、線形アライメントを通してモデル間で伝達可能であることを示すマスターキー仮説を提案する。
この仮説に基づき、UNLOCKという学習自由でラベルのないフレームワークを導入し、能力の現在と能力の欠如したソースコードの活性化を対比し、低ランクな線形変換を通じてターゲットモデルと整列させ、その振る舞いを推論時に適用する。
CoT(Chain-of-Thought)や数学的推論を含む推論行動の実験は、トレーニングなしでのモデルスケールでの大幅な改善を示している。
例えば、Qwen1.5-14BからQwen1.5-7BにCoT推論を移すと、MATHでは精度が12.1%向上し、Qwen3-4B-BaseからQwen3-14B-Baseに数学的推論方向を移すとAGIEval Mathの精度は61.1%から71.3%向上し、14Bのポストトレーニングモデルでは67.8%を上回った。
分析の結果,移動の成功は,事前学習中に得られた能力に依存することが明らかとなり,その介入によって出力分布を推算軌道に絞ることで潜在能力が増幅されることが示唆された。
関連論文リスト
- Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models [1.8231916504534451]
決定フローサンプリング(DF-Sample)は、トレーニングフリーでデータフリーな推論時間フレームワークである。
DF-Sampleは3つのモデルと4つのベンチマークで一貫してベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-11T00:48:45Z) - NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - Training Large Language Models for Self-Explanation Faithfulness [10.933553638236036]
本稿では,自己説明の忠実度を直接最適化する強化学習(RL)手法を提案する。
決定に影響を及ぼす要因を正確に検出するために,モデルをトレーニングできるかどうかを検討する。
モデルが暗黙的に影響要因を識別し、それを開示するように訓練できることが示される。
論文 参考訳（メタデータ） (2026-07-23T09:20:38Z) - AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:26:34Z) - On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。
本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。
実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
論文 参考訳（メタデータ） (2026-05-12T11:33:49Z) - Characterizing Model-Native Skills [16.891026204025838]
スキルは、言語モデルに何ができるか、その振る舞いをどのように変えられるのかを記述するための自然なユニットである。
既存の特徴付けは人書き、テキスト記述、手動プロファイリングパイプラインに依存している。
モデルビヘイビアに介入することが目標である場合、スキルの特徴付けは*モデルネイティブ*でなければならない、と我々は主張する。
論文 参考訳（メタデータ） (2026-04-19T20:58:25Z) - Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。
マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
論文 参考訳（メタデータ） (2026-01-06T20:18:55Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:15:57Z) - CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。
本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
論文 参考訳（メタデータ） (2021-06-12T02:29:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。