論文の概要: A Comprehensive Survey of Sentence Representations: From the BERT Epoch
to the ChatGPT Era and Beyond
- arxiv url: http://arxiv.org/abs/2305.12641v3
- Date: Fri, 2 Feb 2024 07:57:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:29:14.573364
- Title: A Comprehensive Survey of Sentence Representations: From the BERT Epoch
to the ChatGPT Era and Beyond
- Title(参考訳): 文表現の包括的調査:BERTエポックからチャットGPT時代まで
- Authors: Abhinav Ramesh Kashyap, Thanh-Tung Nguyen, Viktor Schlegel, Stefan
Winkler, See-Kiong Ng, Soujanya Poria
- Abstract要約: 文表現は、検索、質問応答、テキスト分類などのNLPアプリケーションにおいて重要な要素である。
彼らは文章の意味を捉え、機械が人間の言語について理解し、推論することを可能にする。
文表現に関する文献のレビューは今のところない。
- 参考スコア(独自算出の注目度): 45.455178613559006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentence representations are a critical component in NLP applications such as
retrieval, question answering, and text classification. They capture the
meaning of a sentence, enabling machines to understand and reason over human
language. In recent years, significant progress has been made in developing
methods for learning sentence representations, including unsupervised,
supervised, and transfer learning approaches. However there is no literature
review on sentence representations till now. In this paper, we provide an
overview of the different methods for sentence representation learning,
focusing mostly on deep learning models. We provide a systematic organization
of the literature, highlighting the key contributions and challenges in this
area. Overall, our review highlights the importance of this area in natural
language processing, the progress made in sentence representation learning, and
the challenges that remain. We conclude with directions for future research,
suggesting potential avenues for improving the quality and efficiency of
sentence representations.
- Abstract(参考訳): 文表現は、検索、質問応答、テキスト分類などのNLPアプリケーションにおいて重要な要素である。
彼らは文章の意味を捉え、機械が人間の言語を理解し、推論することができる。
近年, 教師なし, 教師なし, 伝達学習など, 文表現の学習方法の開発が著しい進歩を遂げている。
しかし、現在まで文表現に関する文献レビューは行われていない。
本稿では,主に深層学習モデルに焦点をあて,文表現学習の異なる方法の概要について述べる。
文献の体系的な組織を提供し、この分野における重要な貢献と課題を強調する。
総じて,自然言語処理におけるこの領域の重要性,文表現学習における進歩,残る課題について考察した。
結論として,文表現の質と効率性を改善するための潜在的な道筋を示唆する。
関連論文リスト
- From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques
for Taming Long Sentences [3.4961473050660303]
長い文は長年にわたって、文書によるコミュニケーションにおいて永続的な問題であった。
本調査は,長文問題に対処するための2つの主要な戦略を体系的にレビューする。
我々は最も代表的な手法を包括的分類に分類し分類する。
論文 参考訳(メタデータ) (2023-12-08T16:51:29Z) - Learning Disentangled Speech Representations [0.45060992929802207]
多くのアプリケーション領域において重要でありながら、音声からのアンタングル表現学習は依然として限られている。
主な課題は、メソッドを評価するための既知の生成因子を持つ音声データセットの欠如である。
本稿では, 音声表現の非接触化に関する研究を可能にする基礎的真理因子を用いた合成音声データセットSynSpeechを提案する。
論文 参考訳(メタデータ) (2023-11-04T04:54:17Z) - Semantic-Aware Contrastive Sentence Representation Learning with Large
Language Models [64.348539675761]
本稿では,セマンティック・アウェア・コントラッシブな文表現フレームワークであるSemCSRを提案する。
大規模言語モデル(LLM)の生成と評価機能を利用することで,高品質なNLI型コーパスを自動構築する。
論文 参考訳(メタデータ) (2023-10-17T03:21:43Z) - A Neural-Symbolic Approach Towards Identifying Grammatically Correct
Sentences [0.0]
テキスト要約、質問回答、機械翻訳、代名詞分解といった課題に取り組むためには、有効な情報源から十分に書かれたテキストにアクセスすることが重要であると一般に受け入れられている。
本稿では,新しいニューラルシンボリックアプローチにより,英語の文を簡易に検証する方法を提案する。
論文 参考訳(メタデータ) (2023-07-16T13:21:44Z) - RankCSE: Unsupervised Sentence Representations Learning via Learning to
Rank [54.854714257687334]
本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。
コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。
セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
論文 参考訳(メタデータ) (2023-05-26T08:27:07Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳(メタデータ) (2022-10-16T07:47:46Z) - From Show to Tell: A Survey on Image Captioning [48.98681267347662]
視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。
画像キャプションの研究はまだ結論に達していない。
本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
論文 参考訳(メタデータ) (2021-07-14T18:00:54Z) - Deep learning for sentence clustering in essay grading support [1.7259867886009057]
フィンランド語における大学生エッセイの2つのデータセットを紹介し,文レベルの有意な議論に対して手作業で注釈を付ける。
我々は,エッセイグレーディングを支援するために,文クラスタリングに適した深層学習埋め込み手法をいくつか評価した。
論文 参考訳(メタデータ) (2021-04-23T12:32:51Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳(メタデータ) (2020-12-21T07:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。