論文の概要: The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.23335v1
• Date: Sat, 25 Jul 2026 19:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.064619
• Title: The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models
• Title（参考訳）: ゲートは常に閉じる:凍結視覚言語モデルへの補助信号注入について
• Abstract要約: 5つのインジェクション設計において、ゲートパラメータが信号の30-45%を名目で通過する場合でも、全てのゲート経路は動作が閉じる。 本稿では、この抑制現象を、画像由来の信号のキャプション不変性によって形式化された致命的な体制と、補助信号が損失を積極的に傷つける負の効用体制の2つに分類する。
• 参考スコア（独自算出の注目度）: 18.625239232550932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auxiliary signal pathways in VLMs are routinely fitted with learnable gates so the optimiser can decide how much of the signal to admit. We find that the optimiser almost always decides on zero: across five injection designs, every gated pathway becomes behaviourally closed, with accuracy invariant to ablating the pathway at inference even when the gate parameter would nominally pass 30-45% of the signal. We attribute this suppression phenomenon to two regimes, a dead-gradient regime formalised through the caption-invariance of image-derived signals, and a negative-utility regime in which the auxiliary signal actively hurts the loss. Rather than fight suppression, we exploit it: we regularise LoRA fine-tuning with geometric auxiliary losses from hyperbolic visual relational graphs (IoA-driven entailment cones and angular repulsion on the Lorentz manifold), coupled only through the forward pass at training time and dropped at inference. Disaggregating GQA by question type exposes a clean dissociation. Three configurations without geometric losses at inference lose 2.85-3.39pp on relational questions while gaining ~1pp on attribute questions; a fourth that trains with the losses but infers through a soft prompt loses 5.14pp on rel for only +0.23pp on attr, so training-time regularisation alone does not protect relational accuracy without a geometric inference pathway. Configurations that keep the geometric pathway at inference preserve vanilla-level relational accuracy and match the attribute gain. Out of distribution on VSR, the RMS-prefix recipe preserves the spatial signal; stripping the geometric losses (G2) collapses VSR by 4.6pp, isolating them as the OOD source. A secondary result: embedding-norm alignment is necessary for generation-safe prefix injection, and learnable gates should be replaced with fixed, non-optional injection at matched scales.
• Abstract（参考訳）: VLMの補助信号経路は、学習可能なゲートが常備されているため、オプティマイザは、その信号の幾つを許可するかを決定できる。 5つのインジェクション設計において、ゲートパラメータが信号の30-45%を名目で通過する場合でも、全てのゲート経路が推論時に経路を壊すように、全てのゲート経路は行動的に閉じる。 本稿では、この抑制現象を、画像由来の信号のキャプション不変性によって形式化された致命的な体制と、補助信号が損失を積極的に傷つける負の効用体制の2つに分類する。 双曲型ビジュアルリレーショナルグラフ(IoAによるローレンツ多様体の角円錐と角円錐)から幾何的補助的損失でLoRAの微調整を正則化し、トレーニング時にフォワードパスにのみ結合し、推論時にドロップする。 質問タイプによるGQAの分離は、クリーンな解離を露呈する。 推論における幾何学的損失のない3つの構成は、関係的な問題では2.85-3.39pp、属性問題では1pp、ソフトプロンプトでは5.14pp、attrでは0.23ppという結果になるので、幾何的推論経路なしでは関係性の正確さを保たない。 幾何経路を推論で保持する構成は、バニラレベルの関係精度を保持し、属性ゲインと一致する。 VSR上の分布から、RMS-prefixのレシピは空間信号を保存し、幾何学的損失(G2)を取り除くとVSRは4.6pp崩壊し、それらをOOD源として分離する。 第二の結果: ジェネレーションセーフなプレフィックスインジェクションには埋め込み-ノームアライメントが必要であり、学習可能なゲートは一致したスケールで固定された非オプションインジェクションに置き換えられるべきである。

関連論文リスト

• Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling [0.0]
  言語モデルが表面摂動入力で失敗すると、"どの層が責任を持つか"は3つの自然な操作を持つことを示す。 スパイク・アンド・プレッシャーと遅延累積の2つの伝播機構を同定する。 4つのモデル(3.8-8B)にまたがる固定ハーネス層は、GSM8Kのコア予測を裏付ける。
  論文  参考訳（メタデータ） (2026-08-04T15:48:55Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search [18.8323743697237]
  大規模言語モデル(LLM)は、オープンなタスクに精通しているが、エージェント設定では、信頼性の高いデリバリが保証されない。 エラーは局所化せずに伝播し、最悪の場合の摂動は未評価となり、蓄積された知識は決して無効にされない。 帰納的、反事実的、メタ帰納的、是正的、帰納的推論は、相容れない方向に共有コンテキストを引き出す。
  論文  参考訳（メタデータ） (2026-06-03T12:45:39Z)
• Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
  ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。 密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。 本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-22T04:05:13Z)
• The Geometric Inductive Bias of Grokking: Bypassing Phase Transitions via Architectural Topology [0.0]
  巡回加法(Zp)を訓練した変圧器のグルーキング-遅れ一般化に関する研究 標準変圧器における2つの独立した構造因子:表現の大きさとデータ依存型アテンションルーティングを同定する。
  論文  参考訳（メタデータ） (2026-03-05T14:41:01Z)
• Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat [0.0]
  疎い注意がエンドツーエンドにトレーニングされると、モデルのQ/K/V投影は、どんなマスクにも適応する。 微分可能なソフトゲーティングは、ゲートが学習されているかランダムであるかに関わらず、ほぼ同じ難易度に収束する。 専門家はどのルーターにも適応するが、注意は構造的により厳しい形を示すことを示している。
  論文  参考訳（メタデータ） (2026-02-11T15:06:44Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation [8.973965016201822]
  ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。 トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアが不安定になる2つの失敗モードの1つにつながる可能性がある。 ここでは、自己アテンション、層正規化、スキップ接続、勾配を有する深層変圧器による信号伝搬の解析理論を提案する。
  論文  参考訳（メタデータ） (2025-05-30T08:18:23Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。