論文の概要: Model Whisper: Steering Vectors Unlock Large Language Models' Potential in Test-time

• arxiv url: http://arxiv.org/abs/2512.04748v1
• Date: Thu, 04 Dec 2025 12:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.165309
• Title: Model Whisper: Steering Vectors Unlock Large Language Models' Potential in Test-time
• Title（参考訳）: Model Whisper: ステアリングベクターが大規模言語モデルの可能性をテスト時に解き放つ
• Authors: Xinyue Kang, Diwei Shi, Li Chen,
• Abstract要約: テスト時間ステアリングベクトル(TTSV, Test-Time Steering Vectors)という軽量なコンポーネントを導入し、モデルパラメータを完全に凍結したまま入力にプリコンパイルする。 TTSVは軽量かつ高効率で最適化できるので、プラグインとプレイの強化になる。 提案手法は, 操舵ベクトルを多種多様なタスクにまたがって高度に伝達可能であることを示すとともに, 堅牢な一般化を示す。
• 参考スコア（独自算出の注目度）: 6.741914038966904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is a critical challenge to efficiently unlock the powerful reasoning potential of Large Language Models (LLMs) for specific tasks or new distributions. Existing test-time adaptation methods often require tuning model parameters, which is not only computationally expensive but also risks degrading the model's pre-existing abilities.To address this, we introduce a lightweight component, Test-Time Steering Vectors (TTSV), which is prepended to the input while keeping the LLM's parameters entirely frozen. By optimizing the TTSV on test data to minimize the model's output entropy, we steer the model towards an internal state of higher confidence, activating its inherent abilities most relevant to the current task. TTSV is both lightweight and highly efficient to optimize, making it a true plug-and-play enhancement. Extensive experiments validate our approach's effectiveness on both base models and reasoning-enhanced models. For instance, on the MATH500 task, TTSV achieves a 45.88% relative performance gain on the Qwen2.5-Math-7B model and a 16.22% relative gain on the Qwen3-4B model. Furthermore, our approach exhibits robust generalization, with its steering vectors proving highly transferable across diverse tasks.
• Abstract（参考訳）: 特定のタスクや新しいディストリビューションに対して、LLM(Large Language Models)の強力な推論能力を効果的に解き放つことは、重要な課題である。 既存のテスト時間適応手法では、計算コストがかかるだけでなく、既存のモデルの能力が劣化するリスクも伴うチューニングモデルパラメータを必要とすることが多いが、これに対処するため、LLMのパラメータを完全に凍結したまま入力に前置されるテスト時間ステアリングベクトル (TTSV) という軽量なコンポーネントを導入する。 テストデータ上のTTSVを最適化して、モデルの出力エントロピーを最小化することにより、モデルの信頼性を高め、現在のタスクに最も関係のある固有の能力を活性化する。 TTSVは軽量かつ高効率で最適化できるので、プラグアンドプレイの強化になる。 大規模な実験は、ベースモデルと推論強化モデルの両方において、我々のアプローチの有効性を検証する。 例えば、MATH500タスクでは、TTSVはQwen2.5-Math-7Bモデルで45.88%、Qwen3-4Bモデルで16.22%の性能向上を達成した。 さらに,本手法は多種多様なタスクにまたがって高度に伝達可能であることを示すステアリングベクトルを用いて,堅牢な一般化を示す。

関連論文リスト

• Efficient Test-Time Scaling for Small Vision-Language Models [14.654047034885288]
  小型ビジョンランゲージモデル (Small Vision-Language Models, VLM) は、より大きなモデルに対する計算的に効率的な代替手段を提供する。 既存の手法は典型的には計算的に要求され、小さなモデルの資源効率の高い設計目標と矛盾する。 外部監視よりもモデル内部の特徴を活用する新しい,効率的な2つのテストタイムスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-03T23:49:06Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• A Training Rate and Survival Heuristic for Inference and Robustness Evaluation (TRASHFIRE) [1.622320874892682]
  この研究は、特定のモデルハイパーパラメータが、相手の存在下でモデルの性能にどのように影響するかを理解し予測する問題に対処する。 提案手法では、サバイバルモデル、最悪の例、コスト認識分析を用いて、特定のモデル変更を正確かつ正確に拒否する。 提案手法を用いて、最も単純なホワイトボックス攻撃に対して、ResNetは絶望的に反対であることを示す。
  論文  参考訳（メタデータ） (2024-01-24T19:12:37Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。