論文の概要: Contrastive Learning of Preferences with a Contextual InfoNCE Loss
- arxiv url: http://arxiv.org/abs/2407.05898v1
- Date: Mon, 8 Jul 2024 13:05:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 15:40:39.102623
- Title: Contrastive Learning of Preferences with a Contextual InfoNCE Loss
- Title（参考訳）: 文脈情報損失による選好のコントラスト学習
- Authors: Timo Bertram, Johannes Fürnkranz, Martin Müller,
- Abstract要約: ここでは、CLIPフレームワークの適切な適応により、この問題を解決する方法を示す。
収集可能なカードゲーム領域におけるInfoNCE損失の適応版の有用性を実証的に実証する。
- 参考スコア（独自算出の注目度）: 4.336779198334903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common problem in contextual preference ranking is that a single preferred action is compared against several choices, thereby blowing up the complexity and skewing the preference distribution. In this work, we show how one can solve this problem via a suitable adaptation of the CLIP framework.This adaptation is not entirely straight-forward, because although the InfoNCE loss used by CLIP has achieved great success in computer vision and multi-modal domains, its batch-construction technique requires the ability to compare arbitrary items, and is not well-defined if one item has multiple positive associations in the same batch. We empirically demonstrate the utility of our adapted version of the InfoNCE loss in the domain of collectable card games, where we aim to learn an embedding space that captures the associations between single cards and whole card pools based on human selections. Such selection data only exists for restricted choices, thus generating concrete preferences of one item over a set of other items rather than a perfect fit between the card and the pool. Our results show that vanilla CLIP does not perform well due to the aforementioned intuitive issues. However, by adapting CLIP to the problem, we receive a model outperforming previous work trained with the triplet loss, while also alleviating problems associated with mining triplets.
- Abstract（参考訳）: 文脈的選好ランキングにおける一般的な問題は、一つの選好行動がいくつかの選択に対して比較され、それによって複雑さが爆発し、選好分布が歪むことである。
コンピュータビジョンやマルチモーダルドメインにおいてInfoNCEの損失は大きな成功を収めているものの、バッチ構築技術では任意の項目を比較する能力が必要であり、ひとつの項目が同じバッチ内で複数の正の関連性を持つ場合、適切に定義されていないため、この適応は完全には前向きではない。
収集可能なカードゲーム領域におけるInfoNCE損失の適応版の有用性を実証的に実証し、人間の選択に基づいてシングルカードとカードプール全体の関連をキャプチャする埋め込み空間を学習することを目的としている。
このような選択データは制限された選択のためにのみ存在するため、カードとプールの間の完全な適合ではなく、他のアイテムのセットよりも1つのアイテムの具体的な好みを生成する。
以上の結果から,バニラCLIPは上記の直感的な問題により正常に動作しないことが明らかとなった。
しかし、この問題にCLIPを適用することで、三重項損失で訓練された以前の作業よりも優れるモデルが得られ、また、三重項採掘に伴う問題も軽減される。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。
そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。
提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
論文 参考訳（メタデータ） (2024-11-04T19:24:59Z) - CLIP Adaptation by Intra-modal Overlap Reduction [1.2277343096128712]
画像空間におけるモーダル内重なりを埋め込み表現の観点から解析する。
Google Open Imagesデータセットからサンプルのジェネリックセットに軽量アダプタをトレーニングします。
論文 参考訳（メタデータ） (2024-09-17T16:40:58Z) - CLIPCleaner: Cleaning Noisy Labels with CLIP [36.434849361479316]
textitCLIPCleanerは、効率的なオフライン、クリーンなサンプル選択のためのゼロショット分類器である。
textitCLIPCleanerは、ベンチマークデータセット上での競合や優れたパフォーマンスを実現する、シンプルなシングルステップのアプローチを提供する。
論文 参考訳（メタデータ） (2024-08-19T14:05:58Z) - CLIPLoss and Norm-Based Data Selection Methods for Multimodal Contrastive Learning [19.100022935748225]
データ選択は、大規模ビジュアル言語モデル(例えば、CLIP)のコア問題として浮上した。
3つの主要なデータ選択アプローチは、(1)データ選択を支援するために外部のCLIPモデルを活用すること、(2)高品質なデータを選択するのにより効果的な新しいCLIPスタイルの埋め込みモデルをトレーニングすること、(3)より優れたメトリクスや戦略をCLIP埋め込みに普遍的に適用することである。
論文 参考訳（メタデータ） (2024-05-29T22:19:57Z) - SoftCLIP: Softer Cross-modal Alignment Makes CLIP Stronger [30.758184720183106]
我々は厳密な1対1の制約を緩和し、ソフトなクロスモーダルアライメントを実現する新しいアプローチであるSoftCLIPを提案する。
特に、ImageNetゼロショット分類タスクでは、事前トレーニングデータセットとしてCC3M/CC12Mを使用して、SoftCLIPは6.8%/7.2%というトップ1の精度向上を実現している。
論文 参考訳（メタデータ） (2023-03-30T17:27:22Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Model Selection in Batch Policy Optimization [88.52887493684078]
バッチポリシー最適化におけるモデル選択の問題について検討する。
我々は,任意のモデル選択アルゴリズムが競争力を得るために最適にトレードオフすべきという誤りの3つの源を同定する。
論文 参考訳（メタデータ） (2021-12-23T02:31:50Z) - A Comparison of Contextual and Non-Contextual Preference Ranking for Set
Addition Problems [0.0]
本研究では,要素の集合への付加性を評価する問題について検討する。
私たちは決定の文脈に基づいて好みをモデル化します。
本稿では,2つのネットワークよりも3重項アプローチの方がよい結果が得られることを示す。
論文 参考訳（メタデータ） (2021-07-09T13:33:16Z) - Improving filling level classification with adversarial training [90.01594595780928]
単一画像からカップや飲料グラスのコンテントのレベルを分類する問題について検討する。
汎用ソースデータセットで逆トレーニングを使用し、タスク固有のデータセットでトレーニングを洗練します。
ソース領域における逆学習による伝達学習は,テストセットの分類精度を常に向上させることを示す。
論文 参考訳（メタデータ） (2021-02-08T08:32:56Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳（メタデータ） (2020-10-22T20:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。