論文の概要: TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces

• arxiv url: http://arxiv.org/abs/2503.07851v1
• Date: Mon, 10 Mar 2025 20:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:13.066876
• Title: TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces
• Title（参考訳）: TwinTURBO: 下流タスクと潜時空間のための相互情報分解による基礎モデルの半監督微調整
• Authors: Guillaume Quétant, Pavlo Molchanov, Slava Voloshynovskiy,
• Abstract要約: 本稿では,限られたラベル付きデータに対するトレーニングの課題に対処する,半教師付き微調整フレームワークを提案する。 いくつかのデータセットの実験では、極低ラベル条件下での分類タスクが大幅に改善された。
• 参考スコア（独自算出の注目度）: 10.86297454943578
• License:
• Abstract: We present a semi-supervised fine-tuning framework for foundation models that utilises mutual information decomposition to address the challenges of training for a limited amount of labelled data. Our approach derives two distinct lower bounds: i) for the downstream task space, such as classification, optimised using conditional and marginal cross-entropy alongside Kullback-Leibler divergence, and ii) for the latent space representation, regularised and aligned using a contrastive-like decomposition. This fine-tuning strategy retains the pre-trained structure of the foundation model, modifying only a specialised projector module comprising a small transformer and a token aggregation technique. Experiments on several datasets demonstrate significant improvements in classification tasks under extremely low-labelled conditions by effectively leveraging unlabelled data.
• Abstract（参考訳）: 限られたラベル付きデータに対するトレーニングの課題に対処するために,相互情報分解を利用した基礎モデルのための半教師付き微調整フレームワークを提案する。 我々のアプローチは2つの異なる下界を導き出す。 一 分類等の下流のタスク空間において、クルバック・リーブルの発散とともに条件付き及び辺縁のクロスエントロピーを用いて最適化し、 二 相対空間の表現について、対照的な分解を用いて規則化し整列すること。 この微調整戦略は、基礎モデルの事前訓練された構造を保持し、小さな変圧器とトークン集約技術からなる特別なプロジェクタモジュールのみを変更する。 いくつかのデータセットの実験では、非ラベルデータを有効に活用することにより、非常に低レベルな条件下での分類タスクの大幅な改善が示されている。

関連論文リスト

• Semi-Supervised Fine-Tuning of Vision Foundation Models with Content-Style Decomposition [4.192370959537781]
  本稿では,ラベル付きデータに制限のある下流タスクにおいて,事前学習した基礎モデルの性能向上を目的とした半教師付き微調整手法を提案する。 我々は、MNIST、その拡張されたバリエーション、CIFAR-10、SVHN、GalaxyMNISTを含む複数のデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-10-02T22:36:12Z)
• Enabling Tensor Decomposition for Time-Series Classification via A Simple Pseudo-Laplacian Contrast [26.28414569796961]
  本稿では, Pseudo Laplacian Contrast (PLC) テンソル分解フレームワークを提案する。 データ拡張とラプラシアンのクロスビューを統合し、クラス認識表現の抽出を可能にする。 様々なデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-23T16:48:13Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [13.082805815235975]
  行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。 提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
  論文  参考訳（メタデータ） (2023-07-02T13:59:47Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Adversarial Lagrangian Integrated Contrastive Embedding for Limited Size Datasets [8.926248371832852]
  本研究では,小さなデータセットに対する新しい逆ラグランジアン統合コントラスト埋め込み(ALICE)法を提案する。 提案手法の精度向上とトレーニング収束性を示す。 種々の拡張手法を用いた新しい対角統合コントラストモデルについて検討した。
  論文  参考訳（メタデータ） (2022-10-06T23:59:28Z)
• Few Shot Generative Model Adaption via Relaxed Spatial Structural Alignment [130.84010267004803]
  限られたデータでGAN(Generative Adversarial Network)を訓練することは難しい課題である。 実現可能な解決策は、大規模なソースドメインで十分に訓練されたGANから始め、ターゲットドメインにいくつかのサンプルで適応することである。 本研究では,適応時の対象生成モデルのキャリブレーションを行うための緩和された空間構造アライメント手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T14:26:25Z)
• Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning [23.00300794016583]
  最先端の自然言語理解分類モデルは2段階に従う。 微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。 提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
  論文  参考訳（メタデータ） (2020-11-03T01:10:39Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Ensemble Model with Batch Spectral Regularization and Data Blending for Cross-Domain Few-Shot Learning with Unlabeled Data [75.94147344921355]
  多様な特徴変換行列を用いてマルチブランチアンサンブルフレームワークを構築する。 本研究では,未ラベルデータを利用したデータブレンディング手法を提案し,対象領域におけるスパースサポートを増強する。
  論文  参考訳（メタデータ） (2020-06-08T02:27:34Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。