論文の概要: Privileged Contrastive Pretraining for Multimodal Affect Modelling
- arxiv url: http://arxiv.org/abs/2508.03729v1
- Date: Wed, 30 Jul 2025 09:48:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.337947
- Title: Privileged Contrastive Pretraining for Multimodal Affect Modelling
- Title（参考訳）: マルチモーダル・アフェクト・モデリングのためのPrivileged Contrastive Pretraining
- Authors: Kosmas Pinitas, Konstantinos Makantasis, Georgios N. Yannakakis,
- Abstract要約: PriCon(Privleged Contrastive Pretraining)フレームワークを導入する。
PriConは、LUPI(Learning Using Privileged Information)フレームワーク内の教師モデルとして機能する。
2つのベンチマーク感情コーパスであるRECOLAとAGAINで実施された実験では、PriConを使用してトレーニングされたモデルがLUPIとエンド・ツー・エンドモデルより一貫して優れていることが示された。
- 参考スコア（独自算出の注目度）: 1.7969777786551424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Affective Computing (AC) has made significant progress with the advent of deep learning, yet a persistent challenge remains: the reliable transfer of affective models from controlled laboratory settings (in-vitro) to uncontrolled real-world environments (in-vivo). To address this challenge we introduce the Privileged Contrastive Pretraining (PriCon) framework according to which models are first pretrained via supervised contrastive learning (SCL) and then act as teacher models within a Learning Using Privileged Information (LUPI) framework. PriCon both leverages privileged information during training and enhances the robustness of derived affect models via SCL. Experiments conducted on two benchmark affective corpora, RECOLA and AGAIN, demonstrate that models trained using PriCon consistently outperform LUPI and end to end models. Remarkably, in many cases, PriCon models achieve performance comparable to models trained with access to all modalities during both training and testing. The findings underscore the potential of PriCon as a paradigm towards further bridging the gap between in-vitro and in-vivo affective modelling, offering a scalable and practical solution for real-world applications.
- Abstract（参考訳）: Affective Computing (AC) は、ディープラーニングの出現とともに大きな進歩を遂げてきたが、永続的な課題が残る: コントロールされた実験室環境(vitro)から制御されていない現実世界環境(vio)へ、感情的なモデルを確実に移行すること。
この課題に対処するため、PriCon(Privleged Contrastive Pretraining)フレームワークを導入し、そのモデルが教師付きコントラスト学習(SCL)を介して事前訓練された後、LUPI(Learning Using Privileged Information)フレームワーク内で教師モデルとして機能する。
PriConはどちらも、トレーニング中に特権情報を活用し、派生した影響モデルの堅牢性を高める。
2つのベンチマーク感情コーパスであるRECOLAとAGAINで実施された実験では、PriConを使用してトレーニングされたモデルがLUPIとエンド・ツー・エンドモデルより一貫して優れていることが示された。
注目すべきは、多くの場合、PriConモデルは、トレーニングとテストの両方で、すべてのモダリティへのアクセスでトレーニングされたモデルに匹敵するパフォーマンスを達成することだ。
この調査結果は、PriConが、実世界のアプリケーションにスケーラブルで実用的なソリューションを提供する、インビトロとインビボの感情モデリングのギャップをさらに埋めるパラダイムとしての可能性を強調している。
関連論文リスト
- Combining Pre-Trained Models for Enhanced Feature Representation in Reinforcement Learning [16.04558746520946]
強化学習(Reinforcement Learning, RL)は、エージェントと環境との相互作用を通じて得られる累積報酬の最大化に焦点を当てている。
我々は、複数の事前学習モデルの埋め込みを組み合わせ、リッチな状態表現を形成する新しいアーキテクチャである、Weight Sharing Attention (WSA)を提案する。
論文 参考訳（メタデータ） (2025-07-09T18:13:52Z) - Sculpting [CLS] Features for Pre-Trained Model-Based Class-Incremental Learning [3.73232466691291]
クラス増分学習は、古いクラスを忘れることなく、新しいクラスの知識を継続的に獲得するモデルを必要とする。
事前学習されたモデルは、クラス増分学習において強い性能を示してきたが、新しい概念を学ぶ際に破滅的な忘れをしがちである。
本稿では,新しいパラメータ効率の高い微調整モジュール「Learn and Calibrate」 (LuCA) を導入する。
各学習セッションで、最後のトークンの上にスパースLuCAモジュールをデプロイし、それを'Token-level Sparse and Adaptation'(TO)と呼ぶ。
論文 参考訳（メタデータ） (2025-02-20T17:37:08Z) - Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。
これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。
微調整CLIPのための軽量表現校正法を提案する。
論文 参考訳（メタデータ） (2024-03-12T01:47:17Z) - Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。
一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。
私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
論文 参考訳（メタデータ） (2023-11-03T20:50:40Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳（メタデータ） (2023-06-21T05:26:28Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T15:52:02Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳（メタデータ） (2021-11-01T17:59:43Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。