論文の概要: Learning Task-Agnostic Representations through Multi-Teacher Distillation

• arxiv url: http://arxiv.org/abs/2510.18680v1
• Date: Tue, 21 Oct 2025 14:36:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.73537
• Title: Learning Task-Agnostic Representations through Multi-Teacher Distillation
• Title（参考訳）: 多教師蒸留によるタスク非依存表現の学習
• Authors: Philippe Formont, Maxime Darrin, Banafsheh Karimian, Jackie CK Cheung, Eric Granger, Ismail Ben Ayed, Mohammadhadi Shateri, Pablo Piantanida,
• Abstract要約: 本稿では,「多数決」目的関数に基づくタスク非依存フレームワークを提案する。 この機能は,学生と教師の埋め込みの相互情報に縛られていることを実証する。 提案手法は,教師の多様性を効果的に活用し,多様な下流タスクのパフォーマンス向上を実現する。
• 参考スコア（独自算出の注目度）: 59.488314181423284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Casting complex inputs into tractable representations is a critical step across various fields. Diverse embedding models emerge from differences in architectures, loss functions, input modalities and datasets, each capturing unique aspects of the input. Multi-teacher distillation leverages this diversity to enrich representations but often remains tailored to specific tasks. In this paper, we introduce a task-agnostic framework based on a ``majority vote" objective function. We demonstrate that this function is bounded by the mutual information between student and teachers' embeddings, leading to a task-agnostic distillation loss that eliminates dependence on task-specific labels or prior knowledge. Our evaluations across text, vision models, and molecular modeling show that our method effectively leverages teacher diversity, resulting in representations enabling better performance for a wide range of downstream tasks such as classification, clustering, or regression. Additionally, we train and release state-of-the-art embedding models, enhancing downstream performance in various modalities.
• Abstract（参考訳）: 複雑な入力を抽出可能な表現にキャストすることは、様々な分野において重要なステップである。 様々な埋め込みモデルは、アーキテクチャ、損失関数、入力モダリティ、データセットの違いから生まれ、それぞれが入力のユニークな側面をキャプチャする。 マルチティーチンガー蒸留は、この多様性を利用して表現を豊かにするが、しばしば特定のタスクに合わせたままである。 本稿では,「多数投票」目的関数に基づくタスク非依存フレームワークを提案する。 この機能は,学生と教師の埋め込みの相互情報に縛られ,タスク固有のラベルや事前知識への依存を排除した,タスク非依存の蒸留損失につながることを実証する。 テキスト, 視覚モデル, 分子モデルを用いて評価した結果, 教師の多様性を効果的に活用し, 分類, クラスタリング, 回帰といった幅広い下流タスクにおいて, より優れたパフォーマンスを実現することが示唆された。 さらに、我々は最先端の埋め込みモデルを訓練し、リリースし、様々なモードで下流の性能を向上させる。

関連論文リスト

• Investigating Self-Supervised Methods for Label-Efficient Learning [27.029542823306866]
  低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、さまざまな自己教師付きプレテキストタスクについて検討する。 マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入する。 実規模データセット上でモデルをテストした場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションにおける性能向上を示す。
  論文  参考訳（メタデータ） (2024-06-25T10:56:03Z)
• MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations [2.94944680995069]
  本稿では,パラメータ効率のよいマルチタスク型自己教師型フレームワーク(MT-SLVR)を提案する。 我々は,様々な音声領域から抽出された数ショットの分類タスクに対するアプローチを評価し,分類性能の向上を実証した。
  論文  参考訳（メタデータ） (2023-05-29T09:10:50Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。