論文の概要: On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2410.09156v1
• Date: Fri, 11 Oct 2024 18:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:03:11.138648
• Title: On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
• Title（参考訳）: 自己教師付き表現学習のための識別確率モデルについて
• Authors: Bokun Wang, Yunwen Lei, Yiming Ying, Tianbao Yang,
• Abstract要約: 複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
• 参考スコア（独自算出の注目度）: 85.75164588939185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the discriminative probabilistic modeling problem on a continuous domain for (multimodal) self-supervised representation learning. To address the challenge of computing the integral in the partition function for each anchor data, we leverage the multiple importance sampling (MIS) technique for robust Monte Carlo integration, which can recover InfoNCE-based contrastive loss as a special case. Within this probabilistic modeling framework, we conduct generalization error analysis to reveal the limitation of current InfoNCE-based contrastive loss for self-supervised representation learning and derive insights for developing better approaches by reducing the error of Monte Carlo integration. To this end, we propose a novel non-parametric method for approximating the sum of conditional densities required by MIS through convex optimization, yielding a new contrastive objective for self-supervised representation learning. Moreover, we design an efficient algorithm for solving the proposed objective. We empirically compare our algorithm to representative baselines on the contrastive image-language pretraining task. Experimental results on the CC3M and CC12M datasets demonstrate the superior overall performance of our algorithm.
• Abstract（参考訳）: 複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 本研究では,各アンカーデータに対する分割関数の積分計算の課題に対処するため,モンテカルロの堅牢化のための多重重要サンプリング(MIS)技術を活用し,InfoNCEに基づくコントラスト損失を特殊ケースとして回復する。 本フレームワークでは,モンテカルロ積分の誤差を低減することで,自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の限界を明らかにするために一般化誤差解析を行い,より良いアプローチを開発するための洞察を導出する。 この目的のために、凸最適化によりMISが要求する条件密度の和を近似する新しい非パラメトリック手法を提案する。 さらに,提案した目的を解くための効率的なアルゴリズムを設計する。 比較画像言語事前学習タスクにおいて,提案アルゴリズムと表現ベースラインを実証的に比較した。 CC3M と CC12M のデータセットに対する実験結果から,アルゴリズムの全体的な性能が向上したことを示す。

関連論文リスト

• Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
  最適公正表現はいくつかの有用な構造特性を持つことを示す。 そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
  論文  参考訳（メタデータ） (2024-09-26T08:46:48Z)
• Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
  データ不足は機械学習(ML)モデリングの課題となる可能性がある。 現在のアプローチは、特徴計算とラベル予測に分類される。 本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T13:16:24Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment [31.00769817116771]
  情報に触発された教師なし表現学習のための擬似ラベルアルゴリズムを提案する。 MIRAは、線形/k-NN評価や転送学習など、さまざまな下流タスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-11-04T06:49:42Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Multi-Task Learning on Networks [0.0]
  マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。 この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。 確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
  論文  参考訳（メタデータ） (2021-12-07T09:13:10Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Model-free Representation Learning and Exploration in Low-rank MDPs [64.72023662543363]
  低位mdpに対して,最初のモデルフリー表現学習アルゴリズムを提案する。 主要なアルゴリズムの貢献は新しいミニマックス表現の学習の目的です。 結果は複雑な環境にスケールする一般的な関数近似を収容できます。
  論文  参考訳（メタデータ） (2021-02-14T00:06:54Z)
• Model-Agnostic Explanations using Minimal Forcing Subsets [11.420687735660097]
  そこで本研究では,モデル決定に欠かせない最小限のトレーニングサンプルを同定する,モデルに依存しない新しいアルゴリズムを提案する。 本アルゴリズムは,制約付き最適化問題を解くことにより,このような「欠かせない」サンプルの集合を反復的に同定する。 結果から,本アルゴリズムは局所モデルの振る舞いをよりよく理解する上で,効率的かつ容易に記述できるツールであることがわかった。
  論文  参考訳（メタデータ） (2020-11-01T22:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。