論文の概要: Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation

• arxiv url: http://arxiv.org/abs/2609.26182v1
• Date: Mon, 10 Aug 2026 01:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.916458
• Title: Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation
• Title（参考訳）: Modality-Gated Deep Adapters:Exact Preservation を用いた凍結埋没モデルへのModalityの追加
• Abstract要約: マルチモーダル埋め込みモデルのためのモードゲート型ディープアダプタを提案する。 自身のモダリティがコード化されている間のみ実行される。 冷凍された2Bベースでは、オーディオパックは、同じ訓練された制御で、+3.4から+5.4ポイントのオーディオテキストR@10を改善している。 熱パックは基地の凍結した視覚経路を再利用し、登録済みの受入ゲートを各シードで約7倍にし、熱からテキストへのR@10を0.224から0.785まで持ち上げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal embedding models are deployed at scale: retrieval indices, benchmark results, and behavioral audits all depend on the base model's exact outputs. Extending such a model to a new modality with existing parameter-efficient methods silently changes those outputs; LoRA-style adaptation rewrites the text path whether or not the weights are merged, invalidating every stored embedding. We propose modality-gated deep adapters: bottleneck adapters attached to every decoder layer of a frozen multimodal embedding LLM, grouped into per-modality packs that execute only while their own modality is being encoded. The result is a modality added with zero change to existing outputs: inputs no pack claims traverse the base model's own computation graph, bit-for-bit unchanged, and co-loaded packs compose with an exact-zero isolation matrix. Both properties are stated as propositions, hold after arbitrary training rather than only at initialization, require no task labels or routing metadata at inference, and are verified by exact-equality tests on the released checkpoints. On one frozen 2B base, the audio pack (injected as connector tokens) improves audio-to-text R@10 by +3.4 to +5.4 points over an identically trained control, positive at every seed and reproduced at eleven times the data; the thermal pack, reusing the base's own frozen vision path, clears its pre-registered acceptance gate roughly sevenfold at every seed and lifts thermal-to-text R@10 from 0.224 to 0.785. An encoder swap locates the missing capacity: an external audio encoder that outranks Whisper-family encoders in CLAP-style comparisons loses by 16 R@10 points inside the frozen LLM, so the capacity belongs in the layers, exactly where the gated adapters place it. We release the audio model, the thermal pack, and the training, evaluation and invariance suites: models at huggingface.co/EximiusLabs, code on GitHub.
• Abstract（参考訳）: 検索指標、ベンチマーク結果、行動監査はすべてベースモデルの正確な出力に依存する。 既存のパラメータ効率の手法でそのようなモデルを新しいモダリティに拡張すると、これらの出力が静かに変化する; LoRAスタイルの適応は、重みがマージされるかどうかをテキストパスを書き換え、格納された埋め込みを無効にする。 冷凍マルチモーダル埋め込みLDMのデコーダ層にアタッチされたボトルネックアダプタを,自己のモダリティがコード化されている間のみ実行されるモジュール単位のパックにグループ化する。 入力は、パッククレームがベースモデルの計算グラフを横切ることはなく、ビット・フォー・ビットは変化せず、完全にゼロの分離行列で構成される。 どちらのプロパティも提案として述べられており、初期化ではなく任意のトレーニングの後に保持され、推論時にタスクラベルやルーティングメタデータを必要とせず、リリースされたチェックポイントの正確な品質テストによって検証される。 1つの凍結された2Bベースでは、オーディオパック(コネクタトークンとして注入される)は、同じ訓練された制御で+3.4から+5.4ポイントのオーディオテキストR@10を改善し、各シードで陽性で、11倍のデータで再生される。 CLAPスタイルの比較でWhisperファミリーのエンコーダをオーバーロードする外部オーディオエンコーダは、冷凍LDM内の16R@10ポイントを失うため、キャパシティは、ゲートアダプタがそれを置く場所にある層に属する。 私たちは、オーディオモデル、サーマルパック、トレーニング、評価、不変性スイートをリリースしました。

関連論文リスト

• Sparse MLLM Anchors, Dense Adaptation: Breaking the Self-Referential Loop in Wild Test-Time Adaptation [17.055807559866093]
  我々は,MASA(Multimodal-LLM-Anchored Semantic Adaptation)を導入し,冷凍大言語モデル(MLLM)の構造化意味記述とモデル内部証拠を補完する。 MASAは記述をエンコードし、隣接するテストサンプルに伝達し、結果の視覚意味情報をオンラインのプロトタイプメモリに格納する。 WTTA ImageNet-CベンチマークのMASAをResNetとViTのバックボーンを用いて,制限バッチ,混合ドメイン,不均衡ラベルシフト設定で評価した。
  論文  参考訳（メタデータ） (2026-09-15T11:48:30Z)
• MetaRSI / RSI2: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves [65.60481414910728]
  再帰的な自己改善により、システムは自身の失敗からモデル構築機械を改善することができる。 しかし、RSIは、科学のQAや数学のようなコーディングと形式的なベンチマークにのみ検証されている。 RSIは次に、科学的、工学的、メタ科学的な領域にまたがって運用されなければならない、と我々は主張する。 本稿では,MetaRSI-v1を提案する。改良は,1つの統一パラダイム上での3つの型付き演算子のスケジュール構成である。
  論文  参考訳（メタデータ） (2026-09-06T05:15:31Z)
• Diffs vs. Whole Files: An Empirical Comparison of Iterative Edit-Based and Direct Generation for Flutter/Dart Code Models [0.0]
  直接生成と差分ベース生成という2つの出力方式で2つのコードモデルをトレーニングします。 直接生成は、測度毎に差分ベースの生成を大幅に上回る。 差分ベースの生成が勝つ条件の背後にある、アーキテクチャに依存しない単一のメカニズムを特定します。
  論文  参考訳（メタデータ） (2026-09-05T00:13:49Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression? [0.0]
  我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。 制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。 これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
  論文  参考訳（メタデータ） (2026-07-19T22:19:17Z)
• AdaptFuse: Training-Free Sequential Preference Learning via Externalized Bayesian Inference [24.596125996494717]
  既存のソリューションでは、機密性の高いユーザーインタラクションデータを微調整する必要がある。 本稿では,LLM の原理的確率計算を外部化する,トレーニング不要なフレームワーク AdaptFuse を提案する。 本稿では,フライトレコメンデーション,ホテルレコメンデーション,Webショッピングの3分野にわたるAdaptFuseを評価する。
  論文  参考訳（メタデータ） (2026-04-05T01:35:50Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Modular Hybrid Autoregressive Transducer [51.29870462504761]
  トランスデューサモデルのテキストのみの適応は、エンドツーエンド音声認識では依然として困難である。 ラベルとブランクデコーダを構造的に分離したモジュール型ハイブリッド自己回帰トランスデューサを提案する。 Googleの大規模生産データでは、100B文に適合したマルチドメインのMHATが、LM融合なしでWERを最大12.4%削減する。
  論文  参考訳（メタデータ） (2022-10-31T03:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。