論文の概要: KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale
- arxiv url: http://arxiv.org/abs/2607.18885v1
- Date: Tue, 21 Jul 2026 09:14:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.382292
- Title: KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale
- Title（参考訳）: KALE: Webスケールでの安定CLIP-DINOv2アライメントの損失平衡によるカーネルアライメント
- Abstract要約: カーネルベースのCLIPのDINOv2(KUEA)のようなビジョン中心の教師へのアライメントは、テキストエンコーダの互換性を維持しながらCLIPの視覚的表現を改善している。
本稿では,損失とアライメント重みを目標比に適応的に再スケールする損失平衡制御系であるKALEを紹介する。
3.3MイメージのCC12Mサブセットでは、アライメントモデルは画像テキストの検索を保存し、再現的にSVHN線形探索を改善する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kernel-based alignment of CLIP toward a vision centric teacher such as DINOv2 (KUEA) improves CLIP's visual representations while preserving text-encoder compatibility, using a fixed trade-off weight tuned on curated ImageNet-1K. We ask whether this transfers to noisy, web-scale data (CC12M) and find that it does not: the alignment term's weighted contribution falls to about 0.2% of the clean term, so under any fixed weight its gradient is effectively inert. We introduce KALE, a loss-equilibration controller that tracks both losses and adaptively rescales the alignment weight toward a target ratio, restoring the signal with no per-dataset tuning; reaching balance requires increasing the weight by roughly four orders of magnitude, and the required value is configuration-dependent, so no fixed scalar suffices. We characterize the resulting regime: a bounded high learning rate and a decaying schedule with a moderate floor are needed for stability, and the controller equilibrates rather than diverging. On a 3.3M-image CC12M subset, the aligned model preserves image-text retrieval and reproducibly improves SVHN linear probing; zero-shot improves by +2.00 over CLIP on the standard 11-dataset average, exceeding KUEA's +1.29. We report all results with explicit run-to-run variance and base our conclusions on the metrics that are stable across runs.
- Abstract（参考訳）: カーネルベースのCLIPのDINOv2(KUEA)のようなビジョン中心の教師へのアライメントは、CLIPの視覚的表現を改善しつつ、テキストエンコーダの互換性を保ち、キュレートされたImageNet-1Kに調整されたトレードオフウェイトを使用する。
重み付け項の重み付けされた寄与はクリーン項の約0.2%に減少するため、固定重み付けの場合、その勾配は事実上不活性である。
本稿では,両損失をトラッキングし,アライメントウェイトを目標比に向けて適応的に再スケールする損失平衡制御系であるKALEを導入する。
安定のためには境界付きハイラーニングレートと適度なフロアを持つ減衰スケジュールが必要であり、制御器はばらつきではなく均衡する。
3.3MイメージのCC12Mサブセットでは、アライメントモデルは画像テキストの検索を保存し、SVHN線形プローブを再現的に改善する。
すべての結果を明示的な実行間分散で報告し、実行中に安定したメトリクスに基づいて結論を定めます。
関連論文リスト
- COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models [13.501861808796873]
構造化プルーニングのためのトレーニングフリー補償フレームワークとしてCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。
Llama-3、Llama-3.1、Qwen2.5のモデルファミリーの実験では、COECは全てのモデルにおけるパープレキシティを改善し、ほとんどの設定においてゼロショット精度を向上している。
論文 参考訳（メタデータ） (2026-08-21T14:20:49Z) - SPARC-Net: A Spectral, Causality-Aware, and Hard-Constrained Physics-Informed Architecture for Stiff and Shock-Dominated Partial Differential Equations [0.0654051537828115]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を解くためのメッシュレスアプローチを提供する
PINNは、小さなPDE残基が世界規模で不正確な解に対応できる、硬度および衝撃に支配された問題において深刻な劣化を被る。
これらの障害は, (i) スペクトルバイアスと鋭い特徴との同時的相互作用, (ii) 不均衡な多重時間最適化と損失重大崩壊, (iii) 時間的因果性違反, (iv) 未解決のコロケーションから生じる多因果性を示す。
統合アーキテクチャとトレーニングの現在-Net
論文 参考訳（メタデータ） (2026-07-13T09:23:17Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Attention Calibration for Position-Fair Dense Information Retrieval [29.915108607793996]
デンス検索モデルは、後続の通路に関連情報が現れると位置バイアスを示す。
我々は、このバイアスが再トレーニングや全体的な検索効率を犠牲にすることなく、推論時に低減できるかどうかを問う。
推定時間アテンションのキャリブレーションを下流の検索に適用し、元のアテンション分布と完全にキャリブレーションされたアテンション分布を補間する強度係数で拡張する。
論文 参考訳（メタデータ） (2026-06-01T18:04:26Z) - VISReg: Variance-Invariance-Sketching Regularization for JEPA training [21.894781659564817]
自己教師付き学習手法は、埋め込み空間のモデリングや明示的な正規化による埋め込み崩壊を防止する。
可変不変ケッチ正規化(VISReg)を提案する。
VISRegは共分散をSliced-Wassersteinベースのスケッチ目的に置き換え、完全な分布形状を強制する。
我々は、VISRegが線形にスケールし、低品質データセット上で既存の正規化よりも優れており、長い尾と低ランクのレギュレーションに対して弾力性があることを示す。
論文 参考訳（メタデータ） (2026-06-01T17:58:01Z) - Distortion-Aware Fusion of Statistical and Vision-Language Features for Blind Image Quality Assessment [3.4153424359998508]
138次元のNASディスクリプタと2つの相補的なVLM埋め込みを統合した歪み認識型融合フレームワークを提案する。
KADID-10kの歪み毎の解析により、SNSの特徴がノイズや色シフトの歪みに最も寄与していることが明らかになった。
論文 参考訳（メタデータ） (2026-06-01T09:57:52Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Rethinking Long-tailed Dataset Distillation: A Uni-Level Framework with Unbiased Recovery and Relabeling [105.8570596633629]
トラジェクトリに基づく手法の限界を再考することにより,長い尾のデータセット蒸留を再考する。
統計的アライメントの観点からバイアスをモデル化し、公正な監督を復元する。
提案手法は,CIFAR-100-LTで15.6%,Tiny-ImageNet-LTで11.8%向上する。
論文 参考訳（メタデータ） (2025-11-24T07:57:01Z) - Cautious Weight Decay [23.198565281737896]
Cautious Weight Decay (CWD) は、1行の非依存的な修正であり、符号が更新に一致したパラメータのみに重み減衰を適用する。
CWDはAdamW、Lion、Muonなどの座標のドロップイン変更である。
言語モデルの事前トレーニングとImageNet分類では、CWDは最終的な損失と精度を一貫して改善する。
論文 参考訳（メタデータ） (2025-10-14T11:32:55Z) - Hyperspherical Normalization for Scalable Deep Reinforcement Learning [57.016639036237315]
SimbaV2は最適化を安定させるために設計された新しい強化学習アーキテクチャである。
57の連続制御タスクにおいて、より大きなモデルとより大きな計算で効果的にスケールアップし、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-21T08:17:24Z) - Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
論文 参考訳（メタデータ） (2024-01-24T13:03:28Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。