論文の概要: Exploring Transferability of Self-Supervised Learning by Task Conflict Calibration
- arxiv url: http://arxiv.org/abs/2511.13787v1
- Date: Sun, 16 Nov 2025 14:01:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.722512
- Title: Exploring Transferability of Self-Supervised Learning by Task Conflict Calibration
- Title（参考訳）: タスク衝突校正による自己監督型学習の伝達可能性の検討
- Authors: Huijie Guo, Jingyao Wang, Peizheng Guo, Xingchen Shen, Changwen Zheng, Wenwen Qiang,
- Abstract要約: 我々は,SSLの転送可能性について,(i)SSLの表現可能性とは何か,(ii)この転送可能性をどのように効果的にモデル化するか,という2つの中心的な疑問に対処することによって検討する。
メタラーニングパラダイムにインスパイアされた私たちは,各トレーニングバッチ内に複数のSSLタスクを構築し,トランスファービリティを明示的にモデル化する。
実証的証拠と因果解析から,タスクレベルの情報の導入は伝達性を向上させるが,それでもタスクの衝突によって妨げられていることが判明した。
- 参考スコア（独自算出の注目度）: 21.720778750917102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore the transferability of SSL by addressing two central questions: (i) what is the representation transferability of SSL, and (ii) how can we effectively model this transferability? Transferability is defined as the ability of a representation learned from one task to support the objective of another. Inspired by the meta-learning paradigm, we construct multiple SSL tasks within each training batch to support explicitly modeling transferability. Based on empirical evidence and causal analysis, we find that although introducing task-level information improves transferability, it is still hindered by task conflict. To address this issue, we propose a Task Conflict Calibration (TC$^2$) method to alleviate the impact of task conflict. Specifically, it first splits batches to create multiple SSL tasks, infusing task-level information. Next, it uses a factor extraction network to produce causal generative factors for all tasks and a weight extraction network to assign dedicated weights to each sample, employing data reconstruction, orthogonality, and sparsity to ensure effectiveness. Finally, TC$^2$ calibrates sample representations during SSL training and integrates into the pipeline via a two-stage bi-level optimization framework to boost the transferability of learned representations. Experimental results on multiple downstream tasks demonstrate that our method consistently improves the transferability of SSL models.
- Abstract（参考訳）: 本稿では,SSLの転送可能性について,二つの中心的問題に対処して検討する。
(i)SSLの表現転送可能性とは何で、
(ii) この伝達可能性をどのように効果的にモデル化するか。
伝達性は、あるタスクから学習した表現が別のタスクの目的をサポートする能力として定義される。
メタラーニングパラダイムにインスパイアされた私たちは,各トレーニングバッチ内に複数のSSLタスクを構築し,トランスファービリティを明示的にモデル化する。
実証的証拠と因果解析から,タスクレベルの情報の導入は伝達性を向上させるが,それでもタスクの衝突によって妨げられていることが判明した。
この問題に対処するため,タスク競合の影響を軽減するためにTC$^2$(Task Conflict Calibration)手法を提案する。
具体的には、最初にバッチを分割して複数のSSLタスクを生成し、タスクレベルの情報を注入する。
次に、すべてのタスクに因果的生成因子を生成する要因抽出ネットワークと、各サンプルに専用の重みを割り当てる重み抽出ネットワークを用い、データ再構成、直交性、空間性を利用して有効性を確保する。
最後に、TC$^2$はSSLトレーニング中にサンプル表現を校正し、2段階の双方向最適化フレームワークを通じてパイプラインに統合することで、学習した表現の転送可能性を高める。
複数のダウンストリームタスクに対する実験結果から,本手法はSSLモデルの転送性を一貫して改善することが示された。
関連論文リスト
- Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。
パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。
本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-17T15:47:22Z) - Transition Transfer $Q$-Learning for Composite Markov Decision Processes [6.337133205762491]
本稿では,高次元遷移力学を共有構造を表す低ランク成分の和としてモデル化した新しい複合MDPフレームワークを提案する。
これは純粋に低ランクな遷移モデルの一般的な仮定を緩和する。
UCB-TQLは、複数のタスクがコア線形MDPダイナミクスを共有するが、スパース次元に沿って分散するRLシナリオを転送するために設計されている。
論文 参考訳（メタデータ） (2025-02-01T19:22:00Z) - In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks [93.46282380831339]
コンテキスト内学習は、ターゲットタスクのデモを提供することで、大きな言語モデルが様々なタスクに適応するのに役立つ。
提案するICTL(In-Context Transfer Learning)は,類似のソースタスクからラベル付きデモを転送することで,ターゲットタスクのデモンストレーションを合成する。
Super-NIの実験では、ICTLはスクラッチから平均2.0%の効率で合成に優れていた。
論文 参考訳（メタデータ） (2024-10-02T13:37:54Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - ScaLearn: Simple and Highly Parameter-Efficient Task Transfer by Learning to Scale [18.396897413970965]
ScaLearnは単純かつパラメータ効率の高い2段階MTL法である。
我々はScaLearnが少数の転送パラメータを持つ強いベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2023-10-02T14:01:36Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳（メタデータ） (2020-12-14T12:49:37Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。