論文の概要: On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2212.09170v2
• Date: Fri, 26 May 2023 20:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 02:47:37.495721
• Title: On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning
• Title（参考訳）: コントラスト型文表現学習における等方性,文脈化,学習ダイナミクスについて
• Authors: Chenghao Xiao, Yang Long, Noura Al Moubayed
• Abstract要約: コントラスト学習が文レベルの意味論の学習になぜ役立つのかはよく理解されていない。 コントラスト学習は異方性をもたらし,文内類似度が高いことを示す。 として形式化したものが意味論的意味のあるトークンに対して緩和されていることもわかりました。
• 参考スコア（独自算出の注目度）: 8.959800369169798
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Incorporating contrastive learning objectives in sentence representation learning (SRL) has yielded significant improvements on many sentence-level NLP tasks. However, it is not well understood why contrastive learning works for learning sentence-level semantics. In this paper, we aim to help guide future designs of sentence representation learning methods by taking a closer look at contrastive SRL through the lens of isotropy, contextualization and learning dynamics. We interpret its successes through the geometry of the representation shifts and show that contrastive learning brings isotropy, and drives high intra-sentence similarity: when in the same sentence, tokens converge to similar positions in the semantic space. We also find that what we formalize as "spurious contextualization" is mitigated for semantically meaningful tokens, while augmented for functional ones. We find that the embedding space is directed towards the origin during training, with more areas now better defined. We ablate these findings by observing the learning dynamics with different training temperatures, batch sizes and pooling methods.
• Abstract（参考訳）: 文表現学習(SRL)における対照的な学習目標を組み込むことにより,多くの文レベルNLPタスクにおいて大幅な改善が得られた。 しかし、なぜコントラスト学習が文レベルの意味論の学習に有効であるのかはよく分かっていない。 本稿では, 等方性, 文脈化, 学習ダイナミクスのレンズを通して, 対照的なsrlに着目し, 文表現学習法の将来設計を導くことを目的としている。 表現シフトの幾何学を通してその成功を解釈し、対照的な学習が等方性をもたらし、高いsentence内類似性をもたらすことを示す: 同じ文において、トークンは意味空間における同様の位置に収束する。 として形式化したものは意味的に意味のあるトークンに対して緩和され、機能的なトークンに対して拡張されます。 埋め込みスペースは、トレーニング中に起源に向かっており、より多くの領域がより適切に定義されています。 これらの結果は, 異なる学習温度, バッチサイズ, プール方式による学習ダイナミクスを観察することで要約した。

関連論文リスト

• Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models [31.006803764376475]
  意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。 ここでは、両者が、言語習得のためのより一般的な学習戦略である共同学習に固執していると論じる。 一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
  論文  参考訳（メタデータ） (2024-06-17T18:01:06Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations [0.7081604594416336]
  言語・視覚・音響表現のためのコントラスト学習を用いたコンテキスト駆動型モダリティシフトBERT(CMSBERT-CLR)を提案する。 CMSBERT-CLRは、文脈全体の非言語的・言語的な情報を取り入れ、コントラスト学習を通じてより効果的にモダリティを整合させる。 実験では,本手法が最先端の成果をもたらすことを実証した。
  論文  参考訳（メタデータ） (2022-08-21T08:21:43Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Text Transformations in Contrastive Self-Supervised Learning: A Review [27.25193476131943]
  自然言語処理の分野において,コントラスト学習の枠組みを定式化する。 コントラスト法を用いてより良いテキスト表現を学習するための課題と可能性について述べる。
  論文  参考訳（メタデータ） (2022-03-22T19:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。