論文の概要: Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement
- arxiv url: http://arxiv.org/abs/2602.19169v1
- Date: Tue, 02 Dec 2025 16:54:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.624457
- Title: Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement
- Title（参考訳）: 仮想パラメータシャープ化:推論時間推論強化のための動的低ランク摂動
- Authors: Saba Kublashvili,
- Abstract要約: 動的でアクティベーション条件の低い低ランク摂動で冷凍変圧器の線形層を拡大する仮想シャープニング(VPS)について紹介する。
本稿では, 完全アルゴリズムの枠組みを提示し, その数学的基礎を解析し, アクティベーション条件付き計算が大規模言語モデルにおける推論能力を向上するメカニズムについて議論する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: I introduce Virtual Parameter Sharpening (VPS), an inference-time technique that augments frozen transformer linear layers with dynamic, activation-conditioned low-rank perturbations. Unlike parameter-efficient fine-tuning methods such as LoRA, which learn static low-rank adapters, VPS constructs its perturbation factors on the fly from batch activation statistics and optional gradient signals, enabling test-time adaptation without persistent parameter updates. The perturbation takes the form Delta W = gamma * W^T V U^T W, where selector matrices U and V are constructed via sparse activation-guided selection or Sylvester-coupled regression. We provide a theoretical analysis of the perturbation's spectral properties and describe an adaptive policy system that modulates perturbation magnitude based on activation energy and token-level entropy. This system incorporates multi-objective verification with iterative refinement for tasks with ground-truth supervision. We present the complete algorithmic framework, analyze its mathematical foundations, and discuss the mechanisms by which activation-conditioned computation may enhance reasoning capabilities in large language models. Implementation and experimental code are available at https://github.com/Saba-Kublashvili/vps-virtual-parameter-synthesis .
- Abstract（参考訳）: 動的, アクティベーション条件付き低ランク摂動により, 冷凍変圧器の線形層を拡大する仮想パラメータシャープニング(VPS)を導入する。
静的なローランクアダプタを学習するLoRAのようなパラメータ効率の高い微調整方法とは異なり、VPSはバッチアクティベーション統計とオプションの勾配信号から、その摂動係数を構築し、永続的なパラメータ更新なしでテスト時間適応を可能にする。
摂動は Delta W = gamma * W^T V U^T W という形で成り、セレクタ行列 U と V は疎活性化誘導選択あるいはシルベスター結合回帰によって構成される。
本稿では、摂動のスペクトル特性の理論解析を行い、活性化エネルギーとトークンレベルのエントロピーに基づいて摂動の大きさを変調する適応ポリシシステムについて述べる。
本システムでは,多目的検証と反復改良を具体化する。
本稿では, 完全アルゴリズムの枠組みを提示し, その数学的基礎を解析し, アクティベーション条件付き計算が大規模言語モデルにおける推論能力を向上するメカニズムについて議論する。
実装と試験コードはhttps://github.com/Saba-Kublashvili/vps-virtual-parameter- synthesis で公開されている。
関連論文リスト
- ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - Towards Arbitrary Motion Completing via Hierarchical Continuous Representation [64.6525112550758]
Inlicit Representations(INR)に基づくNAMEと呼ばれる新しいパラメトリックアクティベーションによる階層的暗黙表現フレームワークを提案する。
本手法では,複数の時間スケールで動作列から特徴を抽出し,複雑な時間パターンを効果的に捕捉する階層的時間符号化機構を提案する。
論文 参考訳（メタデータ） (2025-12-24T14:07:04Z) - GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。
適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。
複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
論文 参考訳（メタデータ） (2025-11-15T17:55:47Z) - Artificial Intelligence-Based Multiscale Temporal Modeling for Anomaly Detection in Cloud Services [10.421371572062595]
本研究では,マルチスケール特徴認識を統合したTransformerアーキテクチャに基づく異常検出手法を提案する。
提案手法は,精度,リコール,AUC,F1スコアなどの主要な指標において,主流のベースラインモデルより優れている。
論文 参考訳（メタデータ） (2025-08-20T07:52:36Z) - Graded Transformers [0.0]
そこで我々は,ベクトル空間上のグレーディングを通じて帰納バイアスを埋め込む新しいシーケンスモデルである Graded Transformer フレームワークを紹介した。
このフレームワークは、以前のモデルの固定グレードの制限を克服し、適応的な特徴優先順位付けを可能にする。
Graded Transformerは、階層的学習とニューロシンボリック推論に対する数学的に原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2025-07-27T02:34:08Z) - Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。
そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。
特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
論文 参考訳（メタデータ） (2025-06-30T17:14:12Z) - Beyond Static Models: Hypernetworks for Adaptive and Generalizable Forecasting in Complex Parametric Dynamical Systems [0.0]
補間ネットワーク学習のためのパラメトリックハイパーネットワーク(PHLieNet)について紹介する。
PHLieNetはパラメータ空間から非線形埋め込みへのグローバルマッピングと、推論埋め込みから動的伝播ネットワークの重みへのマッピングを同時に学習する。
観測よりもモデルの空間を補間することにより、PHLieNetはパラメータ化されたシステム挙動間のスムーズな遷移を促進する。
論文 参考訳（メタデータ） (2025-06-24T13:22:49Z) - Variational quantum simulation of a nonadditive relaxation dynamics in a qubit coupled to a finite-temperature bath [0.0]
本稿では, 変動量子シミュレーションフレームワークを用いて, 短期量子ハードウェア上での有限温度開系力学を捉える。
我々はリンドブラッド表現による熱浴によるエネルギー交換をモデル化し,現実的な散逸効果をシミュレーションした。
論文 参考訳（メタデータ） (2025-05-17T14:08:23Z) - Reduced order modeling of parametrized systems through autoencoders and
SINDy approach: continuation of periodic solutions [0.0]
本研究は,ROM構築と動的識別の低減を組み合わせたデータ駆動型非侵入型フレームワークを提案する。
提案手法は、非線形力学(SINDy)のパラメトリックスパース同定によるオートエンコーダニューラルネットワークを利用して、低次元力学モデルを構築する。
これらは、システムパラメータの関数として周期的定常応答の進化を追跡し、過渡位相の計算を避け、不安定性と分岐を検出することを目的としている。
論文 参考訳（メタデータ） (2022-11-13T01:57:18Z) - Efficient hierarchical Bayesian inference for spatio-temporal regression
models in neuroimaging [6.512092052306553]
例えば、M/EEG逆問題、タスクベースのfMRI分析のためのニューラルネットワークの符号化、温度モニタリングスキームなどがある。
モデルパラメータとノイズの内在的時間的ダイナミクスをモデル化した,新しい階層型フレキシブルベイズフレームワークを考案する。
論文 参考訳（メタデータ） (2021-11-02T15:50:01Z) - Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。
本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。
より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文 参考訳（メタデータ） (2021-05-25T19:48:35Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。