論文の概要: Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding
- arxiv url: http://arxiv.org/abs/2607.16316v1
- Date: Wed, 15 Jul 2026 04:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.108455
- Title: Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding
- Title（参考訳）: Eddy-VL 1.9B:エッジ展開型マルチモーダルインベディングの構造解析と層状蒸留
- Abstract要約: 我々は,Qwen3-VL-Embedding-2B上に構築された圧縮マルチモーダル埋め込みモデルであるEddy-VL 1.9Bを紹介した。
Eddy-VLは、クラウドAPIが利用できない、低レイテンシが不可欠である、空輸の法医学的および調査的な設定をターゲットにしている。
リリースされたモデルは1,926,188,032 のパラメータ (3.85 GB bf16) を含み、2.13B の教師モデルよりも約9.5%少ないパラメータを表現している。
- 参考スコア（独自算出の注目度）: 1.2132884030603328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this report, we introduce Eddy-VL 1.9B, a compressed multimodal embedding model built on Qwen3-VL-Embedding-2B for offline, edge-deployable vision-language retrieval. Eddy-VL targets air-gapped forensic and investigative settings where cloud APIs are unavailable and low latency is essential. Compression combines (i) probe-driven structural pruning that removes four redundant text-decoder layers (28 to 24) ranked by adjacent-layer linear CKA, and (ii) layered knowledge distillation with hole-covering teacher-student mappings, mid-layer attention-map 1-CKA, and final-layer MSE and cosine losses with Matryoshka dimensions {128, 256, 512, 1024, 2048}. The released model contains 1,926,188,032 parameters (3.85 GB bf16), representing approximately 9.5% fewer parameters than the 2.13B teacher model. Empirical evaluations on MMEB-V2 (78 tasks, VLM2Vec protocol) show that Eddy-VL achieves an overall score of 63.2 compared with 68.9 for the teacher, retaining 91.7% of the teacher's performance while recovering 6.4 of the 12.1 points lost through pruning alone (56.8). Compositional reasoning performance remains close to the teacher on SugarCrepe (86.1 vs. 86.4), MR2-Bench (24.5 vs. 24.7), and ARO (59.5 vs. 60.4), while Winoground group performance (6.8 vs. 8.5) remains the primary limitation. Depth pruning also reduces forward latency by approximately 10% (150.0 to 136.4 ms per image on NVIDIA DGX Spark using FlashAttention-2). We present the architecture, compression methodology, training procedures, and evaluation results, demonstrating the effectiveness of Eddy-VL for multimodal retrieval under constrained edge deployment. Model weights and inference code are publicly available on Hugging Face.
- Abstract（参考訳）: 本稿では,Qwen3-VL-Embedding-2B上に構築された圧縮マルチモーダル埋め込みモデルであるEddy-VL 1.9Bを紹介する。
Eddy-VLは、クラウドAPIが利用できない、低レイテンシが不可欠である、空輸の法医学的および調査的な設定をターゲットにしている。
圧縮コンバイン
(i)隣接層線形CKAにランク付けされた4つの冗長テキストデコーダ層(28〜24)を除去するプローブ駆動型構造解析
(II) 穴埋め型教師学生マッピング, 中層アテンションマップ1-CKA, 最終層MSEおよびマトリオシカ次元 {128, 256, 512, 1024, 2048} によるコサイン損失による知識蒸留
リリースされたモデルは1,926,188,032 のパラメータ (3.85 GB bf16) を含み、2.13B の教師モデルよりも約9.5%少ないパラメータを表現している。
MMEB-V2(78のタスク、VLM2Vecプロトコル)の実証評価では、Eddy-VLは、教師の68.9に対して63.2のスコアを達成し、教師のパフォーマンスの91.7%を維持し、プルーニング単独(56.8)で失った12.1ポイントの6.4を回復した。
SugarCrepe (86.1 vs. 86.4), MR2-Bench (24.5 vs. 24.7), ARO (59.5 vs. 60.4), ウィノグラウンドグループパフォーマンス (6.8 vs. 8.5) は依然として主要な制限である。
FlashAttention-2を使用してNVIDIA DGX Sparkの1イメージあたり150.0～136.4ミリ秒)。
本稿では,制約付きエッジ配置下でのマルチモーダル検索におけるEddy-VLの有効性を示すアーキテクチャ,圧縮手法,訓練手順,評価結果について述べる。
モデルウェイトと推論コードは、Hugging Faceで公開されている。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models [1.9573380763700714]
複数のPFMから小型エッジ指向エンコーダに冷凍タイル埋め込みを蒸留する事前学習フレームワーク MuCoDi を提案する。
11.8KのWSIから14.3MのTCGAタイルをプレトレーニングし、23の下流分類タスクで凍結エンコーダの評価を行った。
論文 参考訳（メタデータ） (2026-07-06T18:14:37Z) - Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification [5.584060970507507]
本稿では,3次元点雲分類のための連成学習(FL)と知識蒸留(KD)を併用して評価する。
13のFLアルゴリズムと10のKD目標(130対のクロスプロダクト)を504のトレーニング実行に当てはめ、ModelNet40と臨床クラニオシノスタシスデータセットで評価されている。
論文 参考訳（メタデータ） (2026-06-30T20:12:27Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。
278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
論文 参考訳（メタデータ） (2026-04-28T14:25:10Z) - Spectral Compact Training: Pre-Training Large Language Models via Permanent Truncated SVD and Stiefel QR Retraction [0.0]
本稿では,高密度な重み行列を恒久的なSVD因子W = U diag(s) VTで置き換える手法であるスペクトルコンパクトトレーニング(SCT)を紹介する。
SCTは、ランク32の1層あたり199倍のメモリ削減を実現し、Steam Deckハンドヘルドの完全なトレーニングステップを可能にする。
SmolLM2-1.7Bのランクスウィープ実験では、全ての試験されたランクが同じ損失フロア(4.2-4.5)に収束し、ランクではなく学習率スケジュールが主要なボトルネックであることが示された。
論文 参考訳（メタデータ） (2026-04-01T10:53:56Z) - Hybrid Gated Flow (HGF): Stabilizing 1.58-bit LLMs via Selective Low-Rank Correction [0.766310831583367]
Hybrid Gated Flow (HGF) は1.58ビットの3進バックボーンと学習可能な低ランクのFP16修正パスを結合したデュアルストリームアーキテクチャである。
我々は,HGF 5.4 が BitNet の 1.0294 と比較して 0.9306 のバリデーション損失を達成し,純三次量子化と FP16 ベースライン間の品質ギャップの約55% を回復することを示した。
論文 参考訳（メタデータ） (2026-02-05T03:47:17Z) - Skywork Open Reasoner 1 Technical Report [51.403686909760914]
提案するSkywork-OR1は,長期チェーン・オブ・ソート(CoT)モデルのための,効果的かつスケーラブルな強化学習(RL)実装である。
DeepSeek-R1-Distillモデルシリーズをベースとして、我々のRLアプローチは顕著なパフォーマンス向上を実現している。
我々のSkywork-OR1-32Bモデルは、AIME24とAIME25ベンチマークでDeepSeek-R1とQwen3-32Bを上回っています。
論文 参考訳（メタデータ） (2025-05-28T12:56:04Z) - DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。
DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。
DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
論文 参考訳（メタデータ） (2024-05-07T15:56:43Z) - Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter
Encoders for Natural Language Understanding Systems [63.713297451300086]
本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。
その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
論文 参考訳（メタデータ） (2022-06-15T20:44:23Z) - LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。
本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。
従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
論文 参考訳（メタデータ） (2021-09-23T16:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。