論文の概要: AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.16067v1
• Date: Fri, 17 Apr 2026 13:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.93836
• Title: AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning
• Title（参考訳）: AEGIS:知識保存のためのアンカー強化勾配分離
• Abstract要約: ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。 このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。 産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting pre-trained vision-language models (VLMs) for robotic control requires injecting high-magnitude continuous gradients from a flow-matching action expert into a backbone trained exclusively with cross-entropy. This cross-modal gradient asymmetry - the spectral dimensionality mismatch between low-rank MSE regression gradients and the high-dimensional semantic manifold sculpted by CE pre-training, causes rapid, severe erosion of the VLM's visual-question-answering (VQA) capability. Industry-standard defences either sever the gradient pathway entirely via stop gradient, discarding the rich continuous supervision, or restrict parameter capacity through low-rank adapters (LoRA) that constrain the rank of updates but not their direction, and thus still overwrite the pre-trained manifold. We introduce AEGIS (Anchor-Enforced Gradient Isolation System): a buffer-free, layer-wise orthogonal gradient projection framework that enables direct continuous MSE learning while preserving the pre-trained VQA manifold - without any co-training data or replay buffer. AEGIS pre-computes a static Gaussian reference anchor from masked VQA forward passes across all transformer layers, then at each training step constructs a Wasserstein-2 transport penalty that generates an anchor restoration gradient. A sequential dual-backward decomposes the task and anchor gradients; for each transformer layer, AEGIS applies a single Gram-Schmidt orthogonal projection that bends the task gradient away from the destructive direction while preserving its constructive content. The projection sheds less than 1% of gradient energy on average, yet eliminates the cumulative activation drift that drives severe forgetting.
• Abstract（参考訳）: ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。 このクロスモーダル勾配非対称性は、低ランクのMSE回帰勾配とCE事前学習によって彫刻された高次元意味多様体とのスペクトル次元的ミスマッチであり、VLMの視覚-問合せ能力(VQA)の急激な侵食を引き起こす。 業界標準の防衛は、勾配経路を完全に停止勾配から切り離すか、リッチな継続的監督を捨てるか、あるいは更新のランクを制約するローランクアダプタ (LoRA) を通じてパラメータ容量を制限するかのいずれかであり、それでも事前訓練された多様体を上書きする。 AEGIS (Anchor-Enforced Gradient isolation System: AEGIS) は、バッファフリーで階層的な直交勾配予測フレームワークで、事前学習されたVQA多様体を保存しながら直接連続的なMSE学習を可能にする。 AEGISは、マスクされたVQAフォワードから静的ガウス参照アンカーを前処理し、すべてのトランスフォーマー層を通過し、各トレーニングステップで、アンカー復元勾配を生成するWasserstein-2輸送ペナルティを構築する。 シーケンシャルなデュアルバックワードはタスクとアンカー勾配を分解し、各トランスフォーマー層に対して、AEGISは単一のグラムシュミット直交射影を適用し、その構成的内容を保持しながらタスク勾配を破壊的な方向から遠ざける。 投射は平均して勾配エネルギーの1%未満を消費するが、深い忘れ物を引き起こす累積活性化ドリフトを除去する。

関連論文リスト

• Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
  テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。 既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。 本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-09-11T13:24:35Z)
• Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning [21.543362368449156]
  スプリットラーニングにおける勾配マッチング攻撃(GMA)は、批判的だが未解明の仮定に依存している。 この一貫性により、好奇心の強いサーバは、観測結果に誘導勾配が説明されるシーケンスを探索することで、プライベートラベルを復元することができる。 本稿では,後方信号の最適化性を捨てることなく,この一貫性を損なうディフェンスであるグラディエントミラージュを提案する。
  論文  参考訳（メタデータ） (2026-08-19T10:20:33Z)
• Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks [1.1516147824168732]
  スクラッチからのバイナリニューラルネットワーク(BNN)のトレーニングは、ストレートスルー推定器(STE)が支配している 我々はStoMPPを導入し、クリップされた重みとアクティベーションを、入力から出力までの層ごとにハードバイナリの層に徐々に置き換える。 スタンドアロンのトレーニングルールとして、完全なSTEフリープロシージャを提供し、バニラSTEよりも深く成長するゲインを改善している。
  論文  参考訳（メタデータ） (2026-06-26T06:37:57Z)
• CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry [34.36337082439934]
  ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。 この非対称性を利用する2つの効率方法を提案する。 CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
  論文  参考訳（メタデータ） (2026-06-25T02:25:00Z)
• SURGE: Surrogate Gradient Adaptation in Binary Neural Networks [41.424349870612716]
  SURGE(SURrogate GradiEnt Adaptation)は,理論的な基礎を持つ学習可能な勾配補償フレームワークである。 SURGEは補助的なバックプロパゲーションを通じて勾配ミスマッチを緩和する。 画像分類、オブジェクト検出、言語理解タスクの実験は、SURGEが最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-09T09:52:38Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Learn for Variation: Variationally Guided AAV Trajectory Learning in Differentiable Environments [21.594684328904403]
  Learn for Variation (L4V)は勾配インフォームドな軌道学習フレームワークである。 高分散スカラー報酬信号を高密度で解析的に基底化されたポリシー勾配に置き換える。 L4Vは、ミッション完了時間、平均送信速度、訓練コストにおいて、代表ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-19T12:57:42Z)
• Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs [52.15785423211181]
  Grad-ELLMは、デコーダのみをベースとした大規模言語モデルのための勾配に基づく属性法である。 我々は、より公平な比較を提供する2つの忠実度指標$-Soft-NCと$-Soft-NSを導入する。 実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。
  論文  参考訳（メタデータ） (2026-01-06T15:22:39Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Attention Saturation and Gradient Suppression at Inflection Layers: Diagnosing and Mitigating Bottlenecks in Transformer Adaptation [0.0]
  事前訓練されたトランスフォーマーは、ソースパターンに過剰な自信を示し、微調整中に新しいターゲットドメインパターンを形成するのが困難であることが多い。 我々は、標準のクロスエントロピーおよびソフトマックス解析により、勾配抑制につながる出力飽和のメカニズムを定式化する。 本稿では, 逆方向の抑圧信号の復元のために, インフレクション層にLoRAアダプタを選択的に挿入する, 診断ファーストでインジェクトライトの微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-02T04:32:41Z)
• GPAS: Accelerating Convergence of LLM Pretraining via Gradient-Preserving Activation Scaling [39.3376897081385]
  既存の手法と組み合わせて使用可能なGPAS(Gradient-Preserving Activation Scaling)を提案する。 GPASは、その勾配を一定に保ちながら中間活性化をスケールダウンすることで機能する。 モデルサイズが71Mから1Bの範囲で実験した結果,GPASが一貫した性能向上を達成できた。
  論文  参考訳（メタデータ） (2025-06-27T09:45:15Z)
• Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion [13.764770382623812]
  フェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。 摂動抵抗性勾配漏洩攻撃であるMjolnirを導入する。 Mjolnirは、オリジナルのモデル構造や外部データへのアクセスを必要とせずに、勾配から摂動を取り除くことができる。
  論文  参考訳（メタデータ） (2024-07-07T07:06:49Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。