論文の概要: UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models

• arxiv url: http://arxiv.org/abs/2508.19498v1
• Date: Wed, 27 Aug 2025 00:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.459406
• Title: UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models
• Title（参考訳）: UNIFORM: 大規模および多種多様な事前学習モデルから知識を統一する
• Authors: Yimu Wang, Weiming Zhuang, Chen Chen, Jiabo Huang, Jingtao Li, Lingjuan Lyu,
• Abstract要約: UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。 本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
• 参考スコア（独自算出の注目度）: 62.76435672183968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of deep learning, the increasing number of pre-trained models available online presents a wealth of knowledge. These models, developed with diverse architectures and trained on varied datasets for different tasks, provide unique interpretations of the real world. Their collective consensus is likely universal and generalizable to unseen data. However, effectively harnessing this collective knowledge poses a fundamental challenge due to the heterogeneity of pre-trained models. Existing knowledge integration solutions typically rely on strong assumptions about training data distributions and network architectures, limiting them to learning only from specific types of models and resulting in data and/or inductive biases. In this work, we introduce a novel framework, namely UNIFORM, for knowledge transfer from a diverse set of off-the-shelf models into one student model without such constraints. Specifically, we propose a dedicated voting mechanism to capture the consensus of knowledge both at the logit level -- incorporating teacher models that are capable of predicting target classes of interest -- and at the feature level, utilizing visual representations learned on arbitrary label spaces. Extensive experiments demonstrate that UNIFORM effectively enhances unsupervised object recognition performance compared to strong knowledge transfer baselines. Notably, it exhibits remarkable scalability by benefiting from over one hundred teachers, while existing methods saturate at a much smaller scale.
• Abstract（参考訳）: ディープラーニングの時代、オンラインで利用できる事前学習モデルの増加は、豊富な知識を提示する。 これらのモデルは多様なアーキテクチャで開発され、さまざまなタスクのためのさまざまなデータセットで訓練され、現実世界のユニークな解釈を提供する。 彼らの集合的コンセンサスは普遍的であり、目に見えないデータに対して一般化可能である。 しかし、この集合的知識を効果的に活用することは、事前訓練されたモデルの異質性のために根本的な課題となる。 既存の知識統合ソリューションは、典型的にはデータ分散とネットワークアーキテクチャのトレーニングに関する強い前提に依存し、特定のタイプのモデルからのみ学習することを制限し、データや帰納的バイアスをもたらす。 本研究では,ユニフォー(UNIFORM)という新しいフレームワークを導入し,多様なオフザシェルフモデルから,そのような制約を伴わずに1つの学生モデルへ知識を伝達する手法を提案する。 具体的には、ロジットレベルでの知識のコンセンサス(興味のあるクラスを予測できる教師モデル)と、任意のラベル空間で学習した視覚的表現を利用して特徴レベルでの知識のコンセンサスを取得するための、専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。 特に、100人以上の教師の恩恵を受けながら、既存の方法の方がずっと小さなスケールで飽和している点が注目に値する。

関連論文リスト

• Seeing Further on the Shoulders of Giants: Knowledge Inheritance for Vision Foundation Models [43.517843843279266]
  ビジョンファウンデーションモデル(VFM)は、主にデータ中心の手法を用いて開発されている。 多くのオープンソースビジョンモデルは、ドメイン固有のデータに基づいて事前訓練されている。 本稿では,共同知識の伝達と保存を通じてVFMを訓練するためのモデル駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2025-08-20T13:30:23Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。