論文の概要: An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning

• arxiv url: http://arxiv.org/abs/2209.10951v1
• Date: Thu, 22 Sep 2022 12:07:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:41:03.438580
• Title: An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning
• Title（参考訳）: 情報最小化に基づく教師なし文埋め込み学習のためのコントラスト学習モデル
• Authors: Shaobin Chen, Jie Zhou, Yuling Sun, and Liang He
• Abstract要約: 教師なし文表現学習のための情報最小化に基づくコントラスト学習(InforMin-CL)モデルを提案する。 情報最小化は単純なコントラストと再構成の目的によって達成できる。
• 参考スコア（独自算出の注目度）: 19.270283247740664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised sentence embeddings learning has been recently dominated by contrastive learning methods (e.g., SimCSE), which keep positive pairs similar and push negative pairs apart. The contrast operation aims to keep as much information as possible by maximizing the mutual information between positive instances, which leads to redundant information in sentence embedding. To address this problem, we present an information minimization based contrastive learning (InforMin-CL) model to retain the useful information and discard the redundant information by maximizing the mutual information and minimizing the information entropy between positive instances meanwhile for unsupervised sentence representation learning. Specifically, we find that information minimization can be achieved by simple contrast and reconstruction objectives. The reconstruction operation reconstitutes the positive instance via the other positive instance to minimize the information entropy between positive instances. We evaluate our model on fourteen downstream tasks, including both supervised and unsupervised (semantic textual similarity) tasks. Extensive experimental results show that our InforMin-CL obtains a state-of-the-art performance.
• Abstract（参考訳）: 教師なし文埋め込み 学習は、最近、正のペアを類似させ、負のペアを分離する対照的な学習方法(SimCSEなど)によって支配されている。 コントラスト操作は、正のインスタンス間の相互情報の最大化によって可能な限り多くの情報を保持することを目的としており、文の埋め込みにおいて冗長な情報をもたらす。 そこで本研究では,情報最小化に基づくコントラスト学習(informin-cl)モデルを提案し,相互情報の最大化と,教師なし文表現学習におけるポジティブインスタンス間の情報エントロピーの最小化により,有用な情報を保持し,冗長な情報を破棄する。 具体的には、情報最小化は単純なコントラストと再構成の目的によって達成できる。 再構成操作は、他の正のインスタンスを介して正のインスタンスを再構成し、正のインスタンス間の情報エントロピーを最小化する。 我々は、教師付きタスクと教師なしタスク(意味的テキスト類似性)を含む14の下流タスクでモデルを評価する。 広範な実験結果から,informin-clは最先端のパフォーマンスを得ることができた。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Time-Series Contrastive Learning against False Negatives and Class Imbalance [17.43801009251228]
  我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。 インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。 半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T08:38:03Z)
• Rethinking Minimal Sufficient Representation in Contrastive Learning [28.83450836832452]
  対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。 本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-03-14T11:17:48Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• On Mutual Information in Contrastive Learning for Visual Representations [19.136685699971864]
  視覚における「対照的」学習アルゴリズムは、伝達タスクにおいて非常によく機能する表現を学ぶために示されている。 このアルゴリズムの族は、画像の2つ以上の「ビュー」間の相互情報の低境界を最大化する。 負のサンプルとビューの選択は、これらのアルゴリズムの成功に不可欠である。
  論文  参考訳（メタデータ） (2020-05-27T04:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。