論文の概要: Simplifying Knowledge Transfer in Pretrained Models

• arxiv url: http://arxiv.org/abs/2510.22208v1
• Date: Sat, 25 Oct 2025 08:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.915194
• Title: Simplifying Knowledge Transfer in Pretrained Models
• Title（参考訳）: 事前学習モデルにおける知識伝達の簡易化
• Authors: Siddharth Jain, Shyamgopal Karthik, Vineet Gandhi,
• Abstract要約: 本稿では,大規模な公開モデルリポジトリをモデル改善の補助的情報源として活用することを提案する。 我々は,事前訓練されたモデルが学生の役割,知識の追求,あるいは教師の役割を自律的に採用し,知識を付与するデータ分割戦略を導入する。
• 参考スコア（独自算出の注目度）: 15.328214419664748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained models are ubiquitous in the current deep learning landscape, offering strong results on a broad range of tasks. Recent works have shown that models differing in various design choices exhibit categorically diverse generalization behavior, resulting in one model grasping distinct data-specific insights unavailable to the other. In this paper, we propose to leverage large publicly available model repositories as an auxiliary source of model improvements. We introduce a data partitioning strategy where pretrained models autonomously adopt either the role of a student, seeking knowledge, or that of a teacher, imparting knowledge. Experiments across various tasks demonstrate the effectiveness of our proposed approach. In image classification, we improved the performance of ViT-B by approximately 1.4% through bidirectional knowledge transfer with ViT-T. For semantic segmentation, our method boosted all evaluation metrics by enabling knowledge transfer both within and across backbone architectures. In video saliency prediction, our approach achieved a new state-of-the-art. We further extend our approach to knowledge transfer between multiple models, leading to considerable performance improvements for all model participants.
• Abstract（参考訳）: 事前訓練されたモデルは、現在のディープラーニングの状況においてユビキタスであり、幅広いタスクに対して強力な結果を提供する。 近年の研究では、様々な設計選択で異なるモデルが分類的に多様な一般化挙動を示し、あるモデルが別のモデルで利用できないデータ固有の洞察を把握していることが示されている。 本稿では,大規模な公開モデルリポジトリをモデル改善の補助的情報源として活用することを提案する。 我々は,事前訓練されたモデルが学生の役割,知識の追求,あるいは教師の役割を自律的に採用し,知識を付与するデータ分割戦略を導入する。 様々なタスクを対象とした実験により,提案手法の有効性が示された。 画像分類では, ViT-Tを用いた双方向知識伝達により, ViT-Bの性能を約1.4%向上させた。 セマンティックセグメンテーションでは,バックボーンアーキテクチャの内外の知識伝達を可能にすることにより,すべての評価指標を向上した。 ビデオのサリエンシ予測において,我々のアプローチは新たな最先端技術を実現した。 我々は、複数のモデル間の知識伝達に対するアプローチをさらに拡張し、すべてのモデル参加者に対して大幅なパフォーマンス改善をもたらします。

関連論文リスト

• SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model [49.65930977591188]
  マルチモーダル埋め込みモデルは、多様なクロスモーダルタスクに力を与える情報的統一表現を提供することを目的としている。 SAIL-Embeddingはオムニモーダルな埋め込み基盤モデルで、これらの問題に適切なトレーニング戦略とアーキテクチャ設計を通して対処する。 具体的には、コンテンツ対応プログレッシブトレーニングは、さまざまな下流タスクへのモデルの適応性を高め、より豊かなクロスモーダル習熟度を習得することを目的としている。 協調型レコメンデーション強化トレーニングは、シークエンス・ツー・テムとID・ツー・テムの埋め込みから知識を抽出することにより、レコメンデーションシナリオのマルチモーダル表現をさらに適応させる。
  論文  参考訳（メタデータ） (2025-10-14T16:43:22Z)
• UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
  UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。 本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-27T00:56:11Z)
• An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
  大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。 本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。 2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
  論文  参考訳（メタデータ） (2024-10-17T15:09:35Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。