論文の概要: Semantic-Aware Contrastive Sentence Representation Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.10962v1
• Date: Tue, 17 Oct 2023 03:21:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 17:55:51.893568
• Title: Semantic-Aware Contrastive Sentence Representation Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた意味論的コントラスト文表現学習
• Authors: Huiming Wang, Liying Cheng, Zhaodonghui Li, De Wen Soh, Lidong Bing
• Abstract要約: 本稿では,セマンティック・アウェア・コントラッシブな文表現フレームワークであるSemCSRを提案する。 大規模言語モデル(LLM)の生成と評価機能を利用することで,高品質なNLI型コーパスを自動構築する。
• 参考スコア（独自算出の注目度）: 64.348539675761
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive learning has been proven to be effective in learning better sentence representations. However, to train a contrastive learning model, large numbers of labeled sentences are required to construct positive and negative pairs explicitly, such as those in natural language inference (NLI) datasets. Unfortunately, acquiring sufficient high-quality labeled data can be both time-consuming and resource-intensive, leading researchers to focus on developing methods for learning unsupervised sentence representations. As there is no clear relationship between these unstructured randomly-sampled sentences, building positive and negative pairs over them is tricky and problematic. To tackle these challenges, in this paper, we propose SemCSR, a semantic-aware contrastive sentence representation framework. By leveraging the generation and evaluation capabilities of large language models (LLMs), we can automatically construct a high-quality NLI-style corpus without any human annotation, and further incorporate the generated sentence pairs into learning a contrastive sentence representation model. Extensive experiments and comprehensive analyses demonstrate the effectiveness of our proposed framework for learning a better sentence representation with LLMs.
• Abstract（参考訳）: コントラスト学習はより良い文表現の学習に有効であることが証明されている。 しかし、対照的な学習モデルを訓練するためには、自然言語推論(NLI)データセットのような正と負のペアを明示的に構築するためには、大量のラベル付き文が必要である。 残念なことに、十分な高品質なラベル付きデータを取得することは、時間とリソース集約の両方を要し、研究者は教師なしの文表現を学習する手法の開発に注力する。 これらの非構造化のランダムサンプリング文の間に明確な関係が存在しないため、正と負のペアを構築することは難解で問題となる。 本稿では,これらの課題に対処するため,セマンティック・アウェア・コントラッシブな文表現フレームワークであるSemCSRを提案する。 大規模言語モデル(llm)の生成・評価機能を活用することで、人間の注釈を使わずに高品質なnli型コーパスを自動構築し、さらに、生成した文対を対比文表現モデルの学習に組み込むことができる。 広範な実験と包括的解析により,llmsを用いた文表現改善のための枠組みの有効性が実証された。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Training LLMs for Generating IEC 61131-3 Structured Text with Online Feedback [0.0]
  本稿では,学習データの品質向上を重視した大規模言語モデル(LLM)の学習手法を提案する。 このフレームワークは、産業自動化アプリケーションに非常に適しており、最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-29T15:54:09Z)
• GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings [7.957874169275548]
  トレーニング不要な埋め込み手法は、事前訓練された大規模言語モデル(LLM)を直接利用してテキストを埋め込む。 そこで本研究では,LLMを用いて意味を保った文の多種多様な変換を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:36:53Z)
• Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
  本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。 我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
  論文  参考訳（メタデータ） (2024-07-17T11:26:47Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。