論文の概要: Composition-contrastive Learning for Sentence Embeddings
- arxiv url: http://arxiv.org/abs/2307.07380v1
- Date: Fri, 14 Jul 2023 14:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:42:43.221866
- Title: Composition-contrastive Learning for Sentence Embeddings
- Title（参考訳）: 文埋め込みのための合成結合学習
- Authors: Sachin J. Chanchani, Ruihong Huang
- Abstract要約: この作業は、補助的なトレーニング目標や追加のネットワークパラメータのコストを発生させることなく、初めて実施される。
意味的テキスト類似性タスクの実験結果は、最先端のアプローチに匹敵するベースラインの改善を示す。
- 参考スコア（独自算出の注目度）: 23.85590618900386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector representations of natural language are ubiquitous in search
applications. Recently, various methods based on contrastive learning have been
proposed to learn textual representations from unlabelled data; by maximizing
alignment between minimally-perturbed embeddings of the same text, and
encouraging a uniform distribution of embeddings across a broader corpus.
Differently, we propose maximizing alignment between texts and a composition of
their phrasal constituents. We consider several realizations of this objective
and elaborate the impact on representations in each case. Experimental results
on semantic textual similarity tasks show improvements over baselines that are
comparable with state-of-the-art approaches. Moreover, this work is the first
to do so without incurring costs in auxiliary training objectives or additional
network parameters.
- Abstract（参考訳）: 自然言語のベクトル表現は検索アプリケーションにおいてユビキタスである。
近年,非ラベルデータからテキスト表現を学習するためのコントラスト学習に基づく様々な手法が提案されており,同一テキストの最小摂動埋め込み間のアライメントを最大化し,広いコーパスにまたがる埋め込みの均一な分布を奨励している。
そこで本研究では,テキストと文の合成を最大化する手法を提案する。
この目的のいくつかの実現を考察し、各事例における表現への影響を詳しく考察する。
意味的テキスト類似性タスクの実験結果は、最先端のアプローチに匹敵するベースラインの改善を示す。
さらに、この研究は補助的なトレーニング目標や追加のネットワークパラメータのコストを発生させることなく、初めて実施される。
関連論文リスト
- Visual Prompt Selection for In-Context Learning Segmentation [77.15684360470152]
本稿では,サンプル選択戦略の再考と改善に焦点をあてる。
まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。
さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
論文 参考訳（メタデータ） (2024-07-14T15:02:54Z) - Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。
実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-06T15:17:51Z) - Bridging Continuous and Discrete Spaces: Interpretable Sentence
Representation Learning via Compositional Operations [80.45474362071236]
文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。
文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
論文 参考訳（メタデータ） (2023-05-24T00:44:49Z) - From Patches to Objects: Exploiting Spatial Reasoning for Better Visual
Representations [2.363388546004777]
本研究では,空間的推論に基づく新しい予備的事前学習手法を提案する。
本提案手法は,識別的自己管理手法の補助的タスクとして空間推論を導入することで,より柔軟なコントラスト学習の定式化を実現する。
論文 参考訳（メタデータ） (2023-05-21T07:46:46Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。
記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
論文 参考訳（メタデータ） (2022-05-04T14:35:38Z) - MCSE: Multimodal Contrastive Learning of Sentence Embeddings [23.630041603311923]
本稿では,視覚情報とテキスト情報の両方をマルチモーダル・コントラッシブ・オブジェクトを通じて活用する文埋め込み学習手法を提案する。
提案手法は,各種データセットと事前学習エンコーダのパフォーマンスを継続的に向上することを示す。
論文 参考訳（メタデータ） (2022-04-22T21:19:24Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳（メタデータ） (2021-07-25T13:18:55Z) - Text-to-Text Multi-view Learning for Passage Re-ranking [6.3747034690874305]
テキスト生成ビューという新たなビューを典型的なシングルビューパスランキングモデルに組み込むことで,テキストからテキストへのマルチビュー学習フレームワークを提案する。
実証的に、提案されたアプローチは、シングルビューと比べ、ランキングのパフォーマンスに役立ちます。
論文 参考訳（メタデータ） (2021-04-29T06:12:34Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。