論文の概要: Improving Domain Generalization in Contrastive Learning using Adaptive Temperature Control

• arxiv url: http://arxiv.org/abs/2601.07748v1
• Date: Mon, 12 Jan 2026 17:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.692756
• Title: Improving Domain Generalization in Contrastive Learning using Adaptive Temperature Control
• Title（参考訳）: 適応温度制御を用いたコントラスト学習におけるドメイン一般化の改善
• Authors: Robert Lewis, Katie Matton, Rosalind W. Picard, John Guttag,
• Abstract要約: コントラスト学習を用いた自己教師付き事前学習は、疎ラベル付きデータから学習するための強力な方法である。 トレーニングからテスト時間へのデータの分散が変化した場合、パフォーマンスは大幅に低下する可能性がある。 本稿では,学習表現の領域不変性を高めるために,ドメインラベルを組み込んだコントラスト学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.29137812995328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pre-training with contrastive learning is a powerful method for learning from sparsely labeled data. However, performance can drop considerably when there is a shift in the distribution of data from training to test time. We study this phenomenon in a setting in which the training data come from multiple domains, and the test data come from a domain not seen at training that is subject to significant covariate shift. We present a new method for contrastive learning that incorporates domain labels to increase the domain invariance of learned representations, leading to improved out-of-distribution generalization. Our method adjusts the temperature parameter in the InfoNCE loss -- which controls the relative weighting of negative pairs -- using the probability that a negative sample comes from the same domain as the anchor. This upweights pairs from more similar domains, encouraging the model to discriminate samples based on domain-invariant attributes. Through experiments on a variant of the MNIST dataset, we demonstrate that our method yields better out-of-distribution performance than domain generalization baselines. Furthermore, our method maintains strong in-distribution task performance, substantially outperforming baselines on this measure.
• Abstract（参考訳）: コントラスト学習を用いた自己教師付き事前学習は、疎ラベル付きデータから学習するための強力な方法である。 しかし、トレーニングからテスト時間へのデータの分散の変化がある場合、パフォーマンスは大幅に低下する可能性がある。 我々は、この現象を、複数のドメインからトレーニングデータがやってくる環境で研究し、テストデータは、トレーニングで見られないドメインから来る。 本稿では,学習表現の領域不変性を高めるために,ドメインラベルを組み込んだ新しいコントラスト学習法を提案する。 本手法は, 負のサンプルがアンカーと同じ領域から来る確率を用いて, 負のペアの相対重み付けを制御するInfoNCE損失の温度パラメータを調整する。 このアップウェイトは、より類似したドメインからのペアであり、ドメイン不変属性に基づいたサンプルの識別をモデルに促す。 MNISTデータセットの変種による実験により,本手法は領域一般化ベースラインよりも分布外性能がよいことを示した。 さらに,本手法は分散タスクの性能を強く維持し,本手法のベースラインを大幅に上回っている。

関連論文リスト

• DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
  大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。 学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。 同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
  論文  参考訳（メタデータ） (2025-04-17T13:09:38Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• SelfReg: Self-supervised Contrastive Regularization for Domain Generalization [7.512471799525974]
  対照的学習,自己教師付きコントラスト正規化(SelfReg)に基づく領域一般化のための新しい正規化手法を提案する。 提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。 最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。
  論文  参考訳（メタデータ） (2021-04-20T09:08:29Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。