論文の概要: Breaking the Geometric Bottleneck: Contrastive Expansion in Asymmetric Cross-Modal Distillation

• arxiv url: http://arxiv.org/abs/2603.06698v2
• Date: Tue, 10 Mar 2026 07:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 12:59:12.943458
• Title: Breaking the Geometric Bottleneck: Contrastive Expansion in Asymmetric Cross-Modal Distillation
• Title（参考訳）: 幾何学的ボツネックを破る:非対称クロスモーダル蒸留におけるコントラスト膨張
• Abstract要約: グローバルビジョン変換器をキャパシティ制約CNNに蒸留する際の次元崩壊現象について検討する。 厳密な集中型SVDとエフェクトランクを用いることで、CIFAR-10上でキャパシティ非依存の位相遷移を示す。 さらに、DINOv2の均一な幾何は部分的に崩壊を防ぐが、コントラスト展開はCNNのトポロジカルキャパシティ限界に達する普遍的な要件であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation between asymmetric architectures often induces severe geometric constraints on the learned representation space. In this work, we investigate the Dimensional Collapse phenomenon when distilling global Vision Transformers (CLIP and DINOv2) into capacity-constrained CNNs. By employing strictly centered SVD and Effective Rank, we first demonstrate a capacity-agnostic phase transition on CIFAR-10 where standard cosine distillation collapses representations to an intrinsic Effective Rank of ~16. To reverse this, we integrate an auxiliary contrastive objective (InfoNCE), expanding the student's manifold by 2.4x (to ~38 effective dimensions). We further demonstrate that while DINOv2's uniform geometry partially prevents collapse, contrastive expansion remains a universal requirement to reach the CNN's topological capacity limit (~82 dimensions). Finally, we reveal a critical capacity-density trade-off: overparameterization within fixed manifolds induces brittleness, while capacity-constrained models act as optimal low-pass semantic filters, successfully recovering inherent noise immunity.
• Abstract（参考訳）: 非対称アーキテクチャ間の知識蒸留は、しばしば学習された表現空間に厳しい幾何学的制約をもたらす。 本研究では,グローバルビジョン変換器 (CLIP, DINOv2) を容量拘束型CNNに蒸留した場合の次元崩壊現象について検討する。 厳密な集中型SVDと有効ランクを用いることで、標準コサイン蒸留が本質的な有効ランクから16の表現を崩壊させるCIFAR-10上で、キャパシティ非依存の相転移を初めて示す。 これを回避するために、補助的コントラスト目的(InfoNCE)を統合し、学生の多様体を2.4倍に拡張する(有効次元はおよそ38)。 さらに、DINOv2の均一な幾何は部分的に崩壊を防ぐが、コントラスト展開はCNNの位相的容量限界(約82次元)に到達する普遍的な要件であることを示す。 固定多様体内の過度パラメータ化は脆性を引き起こすが、キャパシティ制約付きモデルは最適な低パスセマンティックフィルタとして機能し、固有ノイズ免疫の回復に成功している。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Representation-Induced Symmetry Trapping in Adaptive Variational Quantum Simulations of Multi-Reference Topologies [0.0]
  スピン保存されたSUSD演算子プールを高度に拡張した構成で評価した。 点群対称性の保存が最適化景観を構造的に保護することを示す。 プール内の構造的重複を利用して、共分散駆動型適応ショットアロケーションフィルタを導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:16:11Z)
• High-Dimensional Latents Should Be Diagnosed Through Phase Structure [56.362776482614976]
  スピングラス理論のレンズによるオートエンコーダと変分オートエンコーダの潜在空間について検討した。 固定復号器用の潜時空間スピングラス辞書を定式化する。 トポロジカルな自明化機構のエッジ・オブ・ステイティに向けて潜伏系を駆動することは、下流に具体的な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-05-23T06:17:23Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)
• Potential-energy gating for robust state estimation in bistable stochastic systems [0.0]
  ダブルウェル・ダイナミクスによって制御されるシステムにおけるロバストな状態推定法である電位エネルギーゲーティングを導入する。 拡張フィルタ,アンセントフィルタ,アンサンブルフィルタ,適応カルマンフィルタ内にゲーティングを実装した。
  論文  参考訳（メタデータ） (2026-02-12T08:43:34Z)
• The Blessing of Dimensionality in LLM Fine-tuning: A Variance-Curvature Perspective [19.4447760660162]
  重量摂動進化戦略は驚くほど人口が少ない言語モデルを微調整できることを示す。 また、細調整報酬がしばしば上昇し、ピークが上昇し、ESとGRPOの両方で劣化するのを観察する。
  論文  参考訳（メタデータ） (2026-01-30T00:26:35Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Secure and Explainable Fraud Detection in Finance via Hierarchical Multi-source Dataset Distillation [17.90471000973834]
  訓練されたランダム森林は、透明で軸方向の規則領域に変換される。 合成トランザクションは、各領域内で一様にサンプリングすることによって生成される。 これにより、コンパクトで監査可能なサロゲートデータセットが生成される。
  論文  参考訳（メタデータ） (2025-12-26T05:00:35Z)
• The Physics Constraint Paradox: When Removing Explicit Constraints Improves Physics-Informed Data for Machine Learning [0.0]
  5つの幾何学パラメータを100点のスペクトル応答にマッピングする物理インフォームドグレーティングカプラスペクトル生成器を提案する。 エネルギー保護法,ファブリ・ペロ振動,帯域変動,雑音を選択的に除去することにより,物理制約パラドックスを明らかにする。 これらの知見は、物理インフォームドデータセット設計のための実用的なガイダンスを提供し、制約関連性を評価するための診断ツールとして機械学習の性能を強調している。
  論文  参考訳（メタデータ） (2025-12-24T14:34:52Z)
• RecTok: Reconstruction Distillation along Rectified Flow [85.51292475005151]
  本稿では2つの重要な革新を通じて高次元視覚トークン化の限界を克服するRecTokを提案する。 提案手法は,VFMにおける意味情報を,フローマッチングにおける前方流路に抽出する。 我々のRecTokは画像再構成、生成品質、識別性能に優れています。
  論文  参考訳（メタデータ） (2025-12-15T15:14:20Z)
• The Eminence in Shadow: Exploiting Feature Boundary Ambiguity for Robust Backdoor Attacks [51.468144272905135]
  深層ニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱なままでも重要なアプリケーションを支える。 バックドア攻撃を標的とした理論的解析を行い,不均質なモデル操作を実現するための疎い決定境界に着目した。 エミネンス(Eminence)は、理論的な保証と固有なステルス特性を持つ、説明可能で堅牢なブラックボックスバックドアフレームワークである。
  論文  参考訳（メタデータ） (2025-12-11T08:09:07Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification [67.15451442018258]
  拡散変換器は素晴らしいビデオ生成能力を示すが、その計算とメモリの禁止コストは実際の展開を妨げる。 モデル量子化とアテンションスパシフィケーションは圧縮に有望な2つの方向であるが、それぞれがアグレッシブ圧縮の下で深刻な性能劣化を被っている。 モデル量子化と注意散布を統合した統合フレームワークである textbfQuantSparse を提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:49:44Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Critical crossover phenomena driven by symmetry-breaking defects at quantum transitions [0.0]
  連続量子遷移における対称性破壊欠陥の影響について検討する。 この問題は、再正規化グループ(RG)と有限サイズのスケーリングフレームワークで解決される。
  論文  参考訳（メタデータ） (2022-01-02T18:23:54Z)
• Tactile Grasp Refinement using Deep Reinforcement Learning and Analytic Grasp Stability Metrics [70.65363356763598]
  解析的把握安定性指標が強化学習アルゴリズムの強力な最適化目標であることを示す。 幾何的および力量に依存しないグリップ安定性の指標を組み合わせることで、カブイドの平均成功率は95.4%となることを示す。 第2の実験では,触覚情報を持たないベースラインよりも,接触フィードバックで訓練したグリップリファインメントアルゴリズムが最大6.6%向上することを示した。
  論文  参考訳（メタデータ） (2021-09-23T09:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。