論文の概要: Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition

• arxiv url: http://arxiv.org/abs/2609.14708v2
• Date: Wed, 16 Sep 2026 00:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.402482
• Title: Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition
• Title（参考訳）: Lightning Weave: キャパビリティ構成による推論モデルの精度・効率フロンティアの改善
• Abstract要約: 私たちは、1人の学生で独立して学習した能力を抽出し構成するポストトレーニングフレームワークであるLightning Weaveを紹介します。 Qwen3.5-4Bでは、HMMT 2025の精度を59.2%から64.0%に引き上げ、10.7%のレスポンストークンを減らし、LiveCodeBench v5の精度を41.7%から54.2%に、9.6%のレスポンストークンを減らした。
• 参考スコア（独自算出の注目度）: 23.269235615604245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A core goal of efficient reasoning is to improve the accuracy-efficiency frontier. However, jointly improving reasoning accuracy and inference efficiency can be challenging, as the two objectives can favor different reasoning behaviors. Independently post-trained models already offer distinct strengths in accuracy and efficiency. We introduce Lightning Weave, a post-training framework that extracts and composes these independently learned capabilities in a single student through on-policy distillation. Each acquired capability is represented by the policy shift from the model before post-training to the resulting specialist. Lightning Weave combines aligned log-ratio shifts at shared student token states and uses Tilted-Target DOPD to convert the cached signals into a stable learning target. Each anchor pair scores the cached trajectories once, enabling subsequent student training without serving multiple live anchor models concurrently. Across diverse student models and benchmarks in mathematics and code, Lightning Weave substantially improves upon the base students and achieves a state-of-the-art accuracy-efficiency frontier. On Qwen3.5-4B, it raises HMMT 2025 accuracy from 59.2% to 64.0% with 10.7% fewer response tokens, and LiveCodeBench v5 accuracy from 41.7% to 54.2% with 9.6% fewer response tokens. Adjusting the relative strengths of the anchor signals yields a strong empirical accuracy-efficiency Pareto frontier. These results establish Lightning Weave as a new practical route to efficient reasoning through capability composition. Code is released at https://github.com/jet-ai-projects/Lightning-Weave.
• Abstract（参考訳）: 効率的な推論のコアゴールは、精度と効率のフロンティアを改善することである。 しかしながら, 推論精度と推論効率を共同的に改善することは困難であり, 2つの目的が異なる推論行動を好む可能性がある。 独立に訓練されたモデルはすでに精度と効率の面で異なる強みを提供している。 本研究では, 個別の学習能力を抽出し, 構成するポストトレーニングフレームワークであるLightning Weaveを紹介する。 獲得した各能力は、トレーニング後のモデルから結果のスペシャリストへのポリシーシフトによって表現される。 Lightning Weaveは、学生トークン状態の整列されたログ比シフトを組み合わせ、Tilted-Target DOPDを使用してキャッシュされた信号を安定した学習ターゲットに変換する。 各アンカーペアはキャッシュされた軌跡を一度にスコアし、複数のライブアンカーモデルを同時に提供することなく、その後の学生のトレーニングを可能にする。 数学とコードにおける様々な学生モデルとベンチマークの範囲で、Lightning Weaveは基礎的な学生を著しく改善し、最先端の精度・効率のフロンティアを達成している。 Qwen3.5-4Bでは、HMMT 2025の精度を59.2%から64.0%に引き上げ、10.7%のレスポンストークンを減らし、LiveCodeBench v5の精度を41.7%から54.2%に、9.6%のレスポンストークンを減らした。 アンカー信号の相対強度を調整すると、強い経験的精度・効率のパレートフロンティアが得られる。 これらの結果は、機能構成による効率的な推論のための新しい実用的な方法としてLightning Weaveを確立した。 コードはhttps://github.com/jet-ai-projects/Lightning-Weave.comで公開されている。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses [72.0777620499307]
  我々は、より強力なビルダーモデルが、より弱いターゲットモデルがパラメータを更新することなくタスクをより確実に解決するのに役立つ推論時ハーネスを構築することができるかどうか検討する。 実証的には、このテストタイム能力の伝達は非常に効果的であり、平均目標モデルの性能は0.49から0.91にほぼ倍増している。 構築者モデル推論の取り組みは、使用者の品質を単調に改善し、プラットフォーム効果は、構築者モデル自身の能力に対して控えめであり、より弱いターゲットモデルは最大の利益を得る。
  論文  参考訳（メタデータ） (2026-08-12T17:53:18Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
  多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した 我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。 デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
  論文  参考訳（メタデータ） (2026-08-02T20:41:33Z)
• Selector-Guided Autonomous Curriculum for One-Shot Reinforcement Learning from Verifiable Rewards [0.0]
  RLVR(Reinforcement Learning from Verifiable Rewards)は,Large Language Models(LLMs)の算数推論スキルを増強するための,非常に効果的な手法として確立されている。 静的な報酬分散の代わりに、成功確率、報酬分散、出力の不一致、意味的困難度からなる多次元特徴空間上で学習可能なセレクタモデルを用いるセレクタガイド自律カリキュラム(SGAC)アプローチを提案する。 我々のフレームワークはHendrycks MATHベンチマークを用いて評価され、Qwen2.5-Math-1.5Bモデルがベースラインとして機能する。
  論文  参考訳（メタデータ） (2026-05-03T11:10:01Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
  Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。 我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。 我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
  論文  参考訳（メタデータ） (2026-02-04T15:24:52Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• LOT: Layer-wise Orthogonal Training on Improving $\ell_2$ Certified Robustness [14.206377940235091]
  近年の研究では、リプシッツ制約によるディープニューラルネットワーク(DNN)のトレーニングは、対向的ロバスト性や安定性などのモデル特性を高めることができることが示されている。 本研究では,1-Lipschitz畳み込み層を効果的に学習するための層ワイド直交訓練法(LOT)を提案する。 LOTは、決定論的l2証明されたロバスト性に関して、ベースラインを著しく上回り、より深いニューラルネットワークにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-10-20T22:31:26Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。