論文の概要: Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2511.18670v1
• Date: Mon, 24 Nov 2025 00:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.960493
• Title: Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers
• Title（参考訳）: 決定論的連続置換:事前学習変圧器における高速かつ安定なモジュール置換
• Abstract要約: 冷間開始再活性化は凍結した背骨を安定化させるが、制御された研究でこのコア安定性の課題を分離する。 単座研究において、DCRは、制御された注意置換に基づくゲーティングや蒸留ベースラインよりも早く収束し、より強いアライメントを得ることができ、不均一なオペレータスワップの基礎を確立した。
• 参考スコア（独自算出の注目度）: 0.7829352305480287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Replacing modules in pretrained models, especially swapping quadratic self-attention for efficient attention alternatives, poses a hard optimization problem: cold-start reinitialization destabilizes frozen backbones. We isolate this core stability challenge in a controlled study. Deterministic Continuous Replacement (DCR) blends teacher and student outputs with a deterministic, annealed weight. Theoretically, DCR eliminates gate-induced gradient variance inherent to stochastic replacement. In a single-seed study, DCR attains faster convergence and stronger alignment than stochastic gating and distillation baselines on controlled attention replacement, establishing a foundation for heterogeneous operator swaps.
• Abstract（参考訳）: 事前訓練されたモデルにおけるモジュールのリプレース、特に2次自己アテンションを効率的な注意代替品に置き換えることにより、ハード最適化の問題が発生する。 制御された研究において、このコア安定性の課題を分離する。 決定論的連続置換 (Deterministic Continuous Replacement, DCR) は、教師と学生の出力を決定論的、熱処理した重量で混合する。 理論的には、DCRは確率的置換に固有のゲート誘起勾配のばらつきを排除している。 単座研究において、DCRは、制御された注意置換に対する確率的ゲーティングや蒸留ベースラインよりも早く収束し、より強いアライメントを得ることができ、不均一なオペレータスワップの基礎を確立した。

関連論文リスト

• Response Renormalization for Critical Deep Equilibrium Models [0.0]
  暗黙の微分による訓練は、残留ヤコビアンから構築された随伴系を解く必要がある。 本稿では,非持ち上げ応答チャネルをそのまま残しながら,選択したニアポールディノミネータを持ち上げるバックワードパスフレームワークであるResponse Renormalizationを導入する。 我々は、密度と行列のない集合的定式化を導き、改良された凍結アンカー残基と後方応答サロゲートとの正確な勾配を区別し、構造的インプリシット層とベクトルトラクターに構造を拡張した。
  論文  参考訳（メタデータ） (2026-08-24T18:10:30Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation [0.08057006406834467]
  我々は、構造化状態空間モデリングでオープンシステム力学の原理を橋渡しする古典的なリンドブラッドにインスパイアされたマルチタイムスケール貯水池を導入する。 本手法は, 標準, 漏れ, 深度, ゲート, サイクル, 次世代貯水池に対して10種以上で評価した。 ベンチマークスイート全体にわたって,提案した貯留層は,有界NARMA-20上での最良の固定貯留層性能と,ローレンツ-63上での最低平均誤差を達成している。
  論文  参考訳（メタデータ） (2026-07-27T18:48:32Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Bridging Restoration and Generation Manifolds in One-Step Diffusion for Real-World Super-Resolution [22.963799508399365]
  最近の単一段階蒸留は推論を加速するが、認識歪んだトレードオフに直面している。 実時間ISR(IDaS-SR)の適応的インバージョンと劣化認識サンプリングを提案する。 IDaS-SRは決定論的復元と生成のボトルネックを埋める一段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-04-27T07:43:00Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• CASR: A Robust Cyclic Framework for Arbitrary Large-Scale Super-Resolution with Distribution Alignment and Self-Similarity Awareness [14.01813573738112]
  CASRは単純だが高効率な環状SRフレームワークであり、超磁化を非分布スケール遷移の列として再構成する。 この設計は、任意のスケールで安定な推論を保証し、単一のモデルしか必要としない。 単一モデルのみを用いながら, 分布のドリフトを著しく低減し, 長距離テクスチャの整合性を保ち, 極端倍率でも優れた一般化を実現する。
  論文  参考訳（メタデータ） (2026-02-25T18:05:51Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Reasoning Stabilization Point: A Training-Time Signal for Stable Evidence and Shortcut Reliance [0.0]
  我々は、固定されたプローブ集合上の正規化トークン属性におけるエポック・ツー・エポックな変化として説明ドリフトを定義する。 RSPは内部のドリフトダイナミクスから計算され、アウト・オブ・ディストリビューションデータのチューニングは不要である。
  論文  参考訳（メタデータ） (2026-01-12T17:48:05Z)
• Measurement-Consistent Langevin Corrector: A Remedy for Latent Diffusion Inverse Solvers [24.18139511731393]
  遅延拡散逆解法は不安定性に悩まされ、望ましくないアーティファクトと劣化した品質を示す。 我々は,理論上は接地されたプラグ・アンド・プレイ補正モジュールであるMCLC(Messistent Langevin Corrector)を導入する。 従来の手法と比較して、MCLCはこの仮定なしで動作し、より安定で信頼性の高い振る舞いをもたらす。
  論文  参考訳（メタデータ） (2026-01-08T10:15:35Z)
• GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning [0.0]
  逐次残差学習によるモデルドリフトに対応する適応型アンサンブル法であるemphGradient-Boosted Deep Q-Networks (GB-DQN)を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。
  論文  参考訳（メタデータ） (2025-12-18T19:53:50Z)
• Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield [54.328202401611264]
  拡散モデル蒸留は、効率的な数段・単段発生装置を作るための強力な技術として登場した。 数段蒸留の原動力は分布一致ではなく,これまで見過ごされていた成分であるCFG増量 (CFG Augmentation, CA) であることを示す。 本稿では, エンジンとレギュレータのノイズスケジュールを分離するなど, 蒸留工程の原理的な修正を提案し, 更なる性能向上を実現した。
  論文  参考訳（メタデータ） (2025-11-27T18:24:28Z)
• CREPE: Controlling Diffusion with Replica Exchange [32.38925001748167]
  拡散モデルの推論時間制御は、モデル出力を操り、再学習せずに新しい制約を満たすことを目的としている。 レプリカ交換に基づくフレキシブルな代替案を提案する。 CREPE:(1) 粒子を逐次生成し,(2) 燃焼後の試料の多様性を高く維持し,(3) オンライン精製や早期終了を可能にする。
  論文  参考訳（メタデータ） (2025-09-27T11:45:37Z)
• Metriplectic Conditional Flow Matching for Dissipative Dynamics [5.920407670799846]
  条件付きフローマッチングは 第一原理に違反することなく 散逸力学を学習する MCFMは短いトランジションで条件付きフローマッチングを通し、長いロールアウトの隣り合わせを避ける。 我々は、このパラメータ化とサンプリングを保存、単調散逸、安定したロールアウトにリンクする連続的かつ離散的な時間保証を提供する。
  論文  参考訳（メタデータ） (2025-09-23T19:46:54Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Exploring Magnitude Preservation and Rotation Modulation in Diffusion Transformers [5.187307904567701]
  正規化レイヤを使わずにトレーニングを安定化する等級保存設計を提案する。 活性化マグニチュードを維持するという目標により、回転変調も導入する。 また,FIDスコアを$sim$12.8%削減した。
  論文  参考訳（メタデータ） (2025-05-25T12:25:50Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Adaptive Gradient Clipping for Robust Federated Learning [8.268485501864939]
  本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。 ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:00:31Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。