論文の概要: When Text Embedding Meets Large Language Model: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2412.09165v1
• Date: Thu, 12 Dec 2024 10:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:35.609854
• Title: When Text Embedding Meets Large Language Model: A Comprehensive Survey
• Title（参考訳）: テキストの埋め込みが大規模言語モデルと出会う: 総合的な調査
• Authors: Zhijie Nie, Zhangchi Feng, Mingxin Li, Cunwang Zhang, Yanzhao Zhang, Dingkun Long, Richong Zhang,
• Abstract要約: テキスト埋め込みは、ディープラーニング時代に自然言語処理(NLP)の基礎技術となった。 大規模言語モデル(LLM)と3つの主題に埋め込まれたテキストの相互作用を分類する。 我々は,LLM 以前の言語モデル (PLM) を用いて,LLM 以前の未解決課題を強調し,LLM がもたらした新たな障害を探求する。
• 参考スコア（独自算出の注目度）: 17.263184207651072
• License:
• Abstract: Text embedding has become a foundational technology in natural language processing (NLP) during the deep learning era, driving advancements across a wide array of downstream tasks. While many natural language understanding challenges can now be modeled using generative paradigms and leverage the robust generative and comprehension capabilities of large language models (LLMs), numerous practical applications, such as semantic matching, clustering, and information retrieval, continue to rely on text embeddings for their efficiency and effectiveness. In this survey, we categorize the interplay between LLMs and text embeddings into three overarching themes: (1) LLM-augmented text embedding, enhancing traditional embedding methods with LLMs; (2) LLMs as text embedders, utilizing their innate capabilities for embedding generation; and (3) Text embedding understanding with LLMs, leveraging LLMs to analyze and interpret embeddings. By organizing these efforts based on interaction patterns rather than specific downstream applications, we offer a novel and systematic overview of contributions from various research and application domains in the era of LLMs. Furthermore, we highlight the unresolved challenges that persisted in the pre-LLM era with pre-trained language models (PLMs) and explore the emerging obstacles brought forth by LLMs. Building on this analysis, we outline prospective directions for the evolution of text embedding, addressing both theoretical and practical opportunities in the rapidly advancing landscape of NLP.
• Abstract（参考訳）: テキスト埋め込みは、ディープラーニング時代において自然言語処理(NLP)の基盤技術となり、幅広い下流タスクに進歩をもたらした。 多くの自然言語理解課題は、生成パラダイムを用いてモデル化され、大きな言語モデル(LLM)の堅牢な生成および理解能力を活用することができるが、セマンティックマッチング、クラスタリング、情報検索といった多くの実践的応用は、その効率と有効性のためにテキスト埋め込みに依存し続けている。 本研究では,LLM とテキスト埋め込みの相互作用を,(1) LLM による従来の埋め込み手法の強化,(2) LLM をテキスト埋め込みとして活用する,(3) LLM によるテキスト埋め込み理解を活用し,LLM を解析・解釈する,という3つの主題に分類する。 特定の下流アプリケーションではなく、インタラクションパターンに基づくこれらの取り組みを組織化することにより、LLMの時代における様々な研究や応用分野からの貢献を、新しく、体系的に概観する。 さらに,LLM 以前の言語モデル (PLM) で継続する未解決課題を強調し,LLM が生み出す障害について検討する。 この分析に基づいて,NLPの急速な発展にともなう理論的および実践的機会に対処し,テキスト埋め込みの進化に向けた今後の方向性を概説する。

関連論文リスト

• A Reality check of the benefits of LLM in business [1.9181612035055007]
  大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。 ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
  論文  参考訳（メタデータ） (2024-06-09T02:36:00Z)
• Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
  この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。 革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。 LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• History, Development, and Principles of Large Language Models-An Introductory Survey [15.875687167037206]
  自然言語処理(NLP)の基盤となる言語モデル 数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
  論文  参考訳（メタデータ） (2024-02-10T01:18:15Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。