論文の概要: Implicit Modeling for Transferability Estimation of Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2510.23145v1
• Date: Mon, 27 Oct 2025 09:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.506294
• Title: Implicit Modeling for Transferability Estimation of Vision Foundation Models
• Title（参考訳）: 視覚基礎モデルの伝達可能性推定のためのインプシットモデリング
• Authors: Yaoyan Zheng, Huiqun Wang, Nan Zhou, Di Huang,
• Abstract要約: Implicit Transferability Modeling (ITM)は、各モデルの固有のトランスファービリティを暗黙的にモデル化する新しいフレームワークである。 ITMは、安定性、有効性、効率の点で既存の手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 33.73062179456684
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transferability estimation identifies the best pre-trained models for downstream tasks without incurring the high computational cost of full fine-tuning. This capability facilitates deployment and advances the pre-training and fine-tuning paradigm. However, existing methods often struggle to accurately assess transferability for emerging pre-trained models with diverse architectures, training strategies, and task alignments. In this work, we propose Implicit Transferability Modeling (ITM), a novel framework that implicitly models each model's intrinsic transferability, coupled with a Divide-and-Conquer Variational Approximation (DVA) strategy to efficiently approximate embedding space evolution. This design enables generalization across a broader range of models and downstream tasks. Extensive experiments on a comprehensive benchmark--spanning extensive training regimes and a wider variety of model types--demonstrate that ITM consistently outperforms existing methods in terms of stability, effectiveness, and efficiency.
• Abstract（参考訳）: 転送可能性推定は、完全な微調整の計算コストを伴わずに、下流タスクのための訓練済みの最良のモデルを特定する。 この機能はデプロイを促進し、事前トレーニングと微調整のパラダイムを前進させる。 しかし、既存の手法は、様々なアーキテクチャ、トレーニング戦略、タスクアライメントを持つ新しい事前訓練されたモデルの転送可能性の正確な評価に苦慮することが多い。 本研究では,各モデルの固有トランスファービリティを暗黙的にモデル化する新しいフレームワークであるImplicit Transferability Modeling (ITM)を提案し,Divide-and-Conquer Variational Approximation (DVA) と組み合わせて,埋め込み空間の進化を効率的に近似する手法を提案する。 この設計により、幅広いモデルと下流タスクをまたいだ一般化が可能になる。 包括的なベンチマークに関する広範な実験 — 広範なトレーニング体制と、より広範なモデルタイプ — ITMは、安定性、有効性、効率性の点で、既存の手法を一貫して上回ります。

関連論文リスト

• SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model [49.65930977591188]
  マルチモーダル埋め込みモデルは、多様なクロスモーダルタスクに力を与える情報的統一表現を提供することを目的としている。 SAIL-Embeddingはオムニモーダルな埋め込み基盤モデルで、これらの問題に適切なトレーニング戦略とアーキテクチャ設計を通して対処する。 具体的には、コンテンツ対応プログレッシブトレーニングは、さまざまな下流タスクへのモデルの適応性を高め、より豊かなクロスモーダル習熟度を習得することを目的としている。 協調型レコメンデーション強化トレーニングは、シークエンス・ツー・テムとID・ツー・テムの埋め込みから知識を抽出することにより、レコメンデーションシナリオのマルチモーダル表現をさらに適応させる。
  論文  参考訳（メタデータ） (2025-10-14T16:43:22Z)
• Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance [63.33213516925946]
  textbfAlign-Then-stEer(textttATE)は,新しいデータ効率,プラグアンドプレイ適応フレームワークである。 我々の研究は、新しいロボットプラットフォームやタスクにVLAモデルをデプロイする実用性を大幅に向上させる、汎用的で軽量なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-02T07:51:59Z)
• Bounding Distributional Shifts in World Modeling through Novelty Detection [15.354352209595973]
  本研究では, 学習モデルが学習データ分布から逸脱しないように, 新規性検知器として変分オートエンコーダを用いる。 提案手法は,データ効率の観点から最先端のソリューションを改良する。
  論文  参考訳（メタデータ） (2025-08-08T07:42:14Z)
• LEAD: Exploring Logit Space Evolution for Model Selection [39.30586021894318]
  本稿では,ロジットのネットワーク出力に基づく微調整型アプローチであるLEADを提案する。 10のダウンストリームデータセットにわたる24の教師付きおよび自己教師付き事前トレーニングモデルに関する包括的な実験は、素晴らしいパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-07-19T09:45:17Z)
• Domain Guidance: A Simple Transfer Approach for a Pre-trained Diffusion Model [62.11981915549919]
  ドメインガイダンス(Domain Guidance)は、トレーニング済みの知識を活用して、サンプリングプロセスを対象のドメインに誘導する移行アプローチである。 FIDは19.6%改善し、FD$_textDINOv2$は23.4%改善した。
  論文  参考訳（メタデータ） (2025-04-02T09:07:55Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
  本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。 機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。 実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
  論文  参考訳（メタデータ） (2024-08-30T14:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。