論文の概要: TeMo: Temperature Modulation for Multimodal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2609.07540v1
• Date: Mon, 07 Sep 2026 14:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 00:01:05.145948
• Title: TeMo: Temperature Modulation for Multimodal Contrastive Learning
• Title（参考訳）: TeMo:マルチモーダルコントラスト学習のための温度変調
• Abstract要約: 対照的な学習アプローチは、類似のサンプルを分離しながら、類似のサンプルを近接させる訓練モデルにより、強いパフォーマンスを達成する。 本稿では,TeMo,温度変調フレームワークを導入し,その類似性に応じて各正負対の温度を適応的に調整する類似性に基づく変調手法を提案する。 本手法は, 温度変調型マルチモーダル損失と非モーダル損失を, 段階的に遷移することで, 標準マルチモーダルコントラスト損失とシームレスに統合する。
• 参考スコア（独自算出の注目度）: 69.50376336775496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning approaches achieve strong performance by training models to bring similar samples closer while pushing dissimilar samples apart. A crucial component of contrastive learning is the temperature hyperparameter $τ$, which controls the penalty strength applied to negative samples. However, most existing methods either fix this hyperparameter or learn a global value during training. In this paper, we introduce TeMo, Temperature Modulation framework, a similarity-based modulation approach that adaptively adjusts the temperature for each positive-negative pair according to their similarity, enabling more fine-grained multimodal contrastive learning. Our approach seamlessly integrates temperature-modulated multimodal and unimodal losses with the standard multimodal contrastive loss by gradually transitioning between them. This design allows the model to capture both coarse- and fine-grained semantics at different training stages. Extensive experiments demonstrate that each component of TeMo consistently enhances performance across diverse zero-shot retrieval and classification tasks, establishing new state-of-the-art results.
• Abstract（参考訳）: 対照的な学習アプローチは、類似のサンプルを分離しながら、類似のサンプルを近接させる訓練モデルにより、強いパフォーマンスを達成する。 対照的学習の重要な要素は温度ハイパーパラメータ$τ$であり、負のサンプルに適用されるペナルティ強度を制御する。 しかし、既存のほとんどのメソッドは、このハイパーパラメータを修正するか、トレーニング中にグローバルな価値を学ぶかのいずれかです。 本稿では,その類似性に応じて各正負対の温度を適応的に調整し,よりきめ細かいマルチモーダルコントラスト学習を可能にする,類似性に基づく温度変調フレームワークTeMoを紹介する。 本手法は, 温度変調型マルチモーダル損失と非モーダル損失を, 段階的に遷移することで, 標準マルチモーダルコントラスト損失とシームレスに統合する。 この設計により、モデルはトレーニング段階で粗いセマンティクスときめ細かいセマンティクスの両方をキャプチャできる。 広範囲な実験により、TeMoの各コンポーネントは、さまざまなゼロショット検索と分類タスクにまたがるパフォーマンスを一貫して向上し、新しい最先端の結果を確立することが実証された。

関連論文リスト

• Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting [57.75750707482832]
  本稿では,モード再重み付けを保ちながら分散インフレーションをキャンセルし,ネットワークをシフトタイムステップでクエリし,その結果のスコアを$$でスケールするトレーニング不要な修正である分散補正時間シフトを導入する。 DiT, 安定拡散モデル, 運動拡散モデルにまたがる品質と条件の忠実度を, 最小限のコストで一貫したゲインを示す。
  論文  参考訳（メタデータ） (2026-07-12T17:32:29Z)
• MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data [64.78447637450937]
  マルチモーダル温度とマージンスケジューリング(MM-TS)を提案し、一様温度スケジューリングの概念をマルチモーダルコントラスト学習に拡張する。 本手法はトレーニング中のコントラスト損失の温度を動的に調整し,マルチモーダル環境でのアトラクションと反発力を調節する。
  論文  参考訳（メタデータ） (2026-03-09T10:29:50Z)
• MoETTA: Test-Time Adaptation Under Mixed Distribution Shifts with MoE-LayerNorm [13.63833424954647]
  テスト時間適応(TTA)は、単一領域の分散シフト下での性能低下を軽減するのに有効であることが証明されている。 我々は,Mixture-of-Expertsアーキテクチャを統合した,新しいエントロピーベースのTTAフレームワークであるMoETTAを提案する。
  論文  参考訳（メタデータ） (2025-11-14T10:24:06Z)
• LLM-Oriented Token-Adaptive Knowledge Distillation [64.08412563818662]
  本稿では,各トークンのリアルタイム学習状態に蒸留プロセスを適用する新しいフレームワークを提案する。 AdaKDは、2つの相乗的加群からなる。 プラグアンドプレイフレームワークとして、AdaKDは複数のモデルアーキテクチャやベンチマーク上で様々な蒸留方法の性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T16:55:07Z)
• Decoupled Contrastive Learning for Federated Learning [0.0]
  Decoupled Contrastive Learning for Federated Learning (DCFL)を紹介する。 DCFLは、既存の対照的な損失を2つの目的に分離する、新しいフレームワークである。 以上の結果から,DCFLは正試料間の配向が強く,負試料間の一様性が高いことがわかった。
  論文  参考訳（メタデータ） (2025-08-06T01:39:54Z)
• A Robust Incomplete Multimodal Low-Rank Adaptation Approach for Emotion Recognition [17.332141776831513]
  マルチモーダル感情認識(MER)は、実用上不完全なマルチモーダルに遭遇することが多い。 そこで本研究では,MCULoRA(MCULoRA)と命名されたモダリティの組み合わせに基づく,一様疎結合な動的低ランク適応手法を提案する。
  論文  参考訳（メタデータ） (2025-07-15T11:15:35Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
  本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。 実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-02T13:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。