論文の概要: On Isotropy and Learning Dynamics of Contrastive-based Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2212.09170v1
• Date: Sun, 18 Dec 2022 21:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 14:42:21.959704
• Title: On Isotropy and Learning Dynamics of Contrastive-based Sentence Representation Learning
• Title（参考訳）: コントラストに基づく文表現学習における等方性と学習ダイナミクスについて
• Authors: Chenghao Xiao, Yang Long, Noura Al Moubayed
• Abstract要約: 我々は、等方性と学習ダイナミクスのレンズを通して、対照的な文表現学習について、より詳しく検討する。 コントラスト学習が等方性をもたらすことを示すとともに,同じ文の信号が与えられた場合,意味空間内の類似した位置にトークンを収束させることを驚くほど学習する。
• 参考スコア（独自算出の注目度）: 8.959800369169798
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Incorporating contrastive learning objectives in sentence representation learning (SRL) has yielded significant improvements on many sentence-level NLP tasks. However, It is not well understood why contrastive learning works for learning sentence-level semantics. In this paper, we take a closer look at contrastive sentence representation learning through the lens of isotropy and learning dynamics. We interpret its success stories through the geometry of the representation shifts. We show that contrastive learning brings isotropy, and surprisingly learns to converge tokens to similar positions in the semantic space if given the signal that they are in the same sentence. Also, what we formalize as "spurious contextualization" is mitigated for semantically meaningful tokens, while augmented for functional ones. The embedding space is pushed toward the origin during training, with more areas now better defined. We ablate these findings by observing the learning dynamic with different training temperatures, batch sizes and pooling methods. With these findings, we aim to shed light on future designs of sentence representation learning methods.
• Abstract（参考訳）: 文表現学習(SRL)における対照的な学習目標を組み込むことにより,多くの文レベルNLPタスクにおいて大幅な改善が得られた。 しかし、なぜコントラスト学習が文レベルの意味論の学習に有効であるのかはよく分かっていない。 本稿では,等方性と学習ダイナミクスのレンズを用いたコントラスト文表現学習について,より詳しく検討する。 我々はその成功物語を表現シフトの幾何学を通して解釈する。 対照的な学習は等方性をもたらし、同じ文にあるというシグナルが与えられた場合、驚くほど意味空間の類似の位置にトークンを収束させることを学ぶ。 として形式化したものは、意味的に意味のあるトークンに対して緩和され、機能的に拡張されます。 埋め込み空間はトレーニング中に原点に向かって押し出され、さらに多くの領域が定義されるようになった。 これらの知見を, 異なる学習温度, バッチサイズ, プール法で観察することで要約した。 これらの結果から,文表現学習手法の今後の設計に光を当てることを目指している。

関連論文リスト

• Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models [31.006803764376475]
  意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。 ここでは、両者が、言語習得のためのより一般的な学習戦略である共同学習に固執していると論じる。 一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
  論文  参考訳（メタデータ） (2024-06-17T18:01:06Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations [0.7081604594416336]
  言語・視覚・音響表現のためのコントラスト学習を用いたコンテキスト駆動型モダリティシフトBERT(CMSBERT-CLR)を提案する。 CMSBERT-CLRは、文脈全体の非言語的・言語的な情報を取り入れ、コントラスト学習を通じてより効果的にモダリティを整合させる。 実験では,本手法が最先端の成果をもたらすことを実証した。
  論文  参考訳（メタデータ） (2022-08-21T08:21:43Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Text Transformations in Contrastive Self-Supervised Learning: A Review [27.25193476131943]
  自然言語処理の分野において,コントラスト学習の枠組みを定式化する。 コントラスト法を用いてより良いテキスト表現を学習するための課題と可能性について述べる。
  論文  参考訳（メタデータ） (2022-03-22T19:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。