論文の概要: ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning

• arxiv url: http://arxiv.org/abs/2408.03402v1
• Date: Tue, 6 Aug 2024 18:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 14:26:26.358995
• Title: ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning
• Title（参考訳）: ULLME: 世代学習による大規模言語モデル埋め込みのための統一フレームワーク
• Authors: Hieu Man, Nghia Trung Ngo, Franck Dernoncourt, Thien Huu Nguyen,
• Abstract要約: 我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
• 参考スコア（独自算出の注目度）: 72.90823351726374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel in various natural language processing tasks, but leveraging them for dense passage embedding remains challenging. This is due to their causal attention mechanism and the misalignment between their pre-training objectives and the text ranking tasks. Despite some recent efforts to address these issues, existing frameworks for LLM-based text embeddings have been limited by their support for only a limited range of LLM architectures and fine-tuning strategies, limiting their practical application and versatility. In this work, we introduce the Unified framework for Large Language Model Embedding (ULLME), a flexible, plug-and-play implementation that enables bidirectional attention across various LLMs and supports a range of fine-tuning strategies. We also propose Generation-augmented Representation Learning (GRL), a novel fine-tuning method to boost LLMs for text embedding tasks. GRL enforces consistency between representation-based and generation-based relevance scores, leveraging LLMs' powerful generative abilities for learning passage embeddings. To showcase our framework's flexibility and effectiveness, we release three pre-trained models from ULLME with different backbone architectures, ranging from 1.5B to 8B parameters, all of which demonstrate strong performance on the Massive Text Embedding Benchmark. Our framework is publicly available at: https://github.com/nlp-uoregon/ullme. A demo video for ULLME can also be found at https://rb.gy/ws1ile.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々な自然言語処理タスクに優れていますが、それらを密な通路埋め込みに活用することは依然として難しいです。 これは、その因果的注意機構と、事前学習目標とテキストランキングタスクの相違によるものである。 これらの問題に対処するための最近の取り組みにもかかわらず、LLMベースのテキスト埋め込みのための既存のフレームワークは、限られた範囲のLLMアーキテクチャと微調整戦略のサポートによって制限され、実用性と汎用性は制限されている。 本稿では,多種多様なLCMをまたがって双方向の注意を喚起し,様々な微調整戦略をサポートする,柔軟なプラグイン・アンド・プレイ実装であるUnified framework for Large Language Model Embedding (ULLME)を紹介する。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 GRLは表現ベースと生成ベースの関連スコアの一貫性を強制し、LLMの強力な生成能力を活用して経路埋め込みを学習する。 フレームワークの柔軟性と有効性を示すために、ULLMEから1.5Bから8Bパラメータの異なるバックボーンアーキテクチャでトレーニング済みの3つのモデルをリリースし、これらすべてがMassive Text Embedding Benchmarkで強力なパフォーマンスを示している。 私たちのフレームワークは、https://github.com/nlp-uoregon/ullme.comで公開されています。 ULLMEのデモビデオもhttps://rb.gy/ws1ileで見ることができる。

関連論文リスト

• Making Text Embedders Few-Shot Learners [33.50993377494602]
  本稿では,高品質なテキスト埋め込みを実現するために,少数の例を用いた新しいモデルbge-en-iclを提案する。 提案手法では,タスク関連例をクエリ側に直接統合することで,タスク間の大幅な改善を実現している。 MTEBおよびAIR-Benchベンチマークによる実験結果から,本手法がSOTA(State-of-the-art)性能を新たに設定することを示す。
  論文  参考訳（メタデータ） (2024-09-24T03:30:19Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。