論文の概要: Pooling And Attention: What Are Effective Designs For LLm-Based Embedding Models?

• arxiv url: http://arxiv.org/abs/2409.02727v1
• Date: Wed, 4 Sep 2024 14:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 17:55:43.333269
• Title: Pooling And Attention: What Are Effective Designs For LLm-Based Embedding Models?
• Title（参考訳）: プールと注意:LLmベースの埋め込みモデルに効果的な設計は何か?
• Authors: Yixuan Tang, Yi Yang,
• Abstract要約: 我々は,最後の層だけでなく,すべての隠蔽層の出力を横断的ネットワークを用いて変換する,新しいプーリング戦略であるMulti-Layers Trainable Poolingを提案する。 本稿では,LLMをベースとした埋め込みモデルの効果的なトレーニング戦略について述べる。
• 参考スコア（独自算出の注目度）: 18.990655668481075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The significant advancements of Large Language Models (LLMs) in generative tasks have led to a growing body of work exploring LLM-based embedding models. While these models, employing different pooling and attention strategies, have achieved state-of-the-art performance on public embedding benchmarks, questions still arise about what constitutes an effective design for LLM-based embedding models. However, these models are often trained on different datasets, using different LLM base models or training settings. Moreover, evaluations on public embedding benchmarks often fail to report statistical significance, making it difficult to determine which designs truly contribute to final performance. This complicates the process for practitioners seeking optimal training recipes for LLM-based embedding models. In this study, we conduct a large-scale experiment by training a series of LLM-based embedding models using the same training data and base model but differing in their pooling and attention strategies. The results show that there is no one-size-fits-all solution: while bidirectional attention and an additional trainable pooling layer outperform in text similarity and information retrieval tasks, they do not significantly surpass simpler designs like EOS-last token pooling and default causal attention in clustering and classification tasks. Furthermore, we propose a new pooling strategy, Multi-Layers Trainable Pooling, which transforms the outputs of all hidden layers, rather than just the last layer, using a cross-attention network. This method proves to be statistically superior in text similarity and retrieval tasks compared to existing pooling methods. Overall, this paper sheds light on effective training strategies for LLM-based embedding models.
• Abstract（参考訳）: ジェネレーティブタスクにおける大規模言語モデル(LLM)の大幅な進歩は、LLMベースの埋め込みモデルを探究する活動の活発化に繋がった。 これらのモデルは、様々なプーリングとアテンション戦略を採用し、公開埋め込みベンチマークで最先端のパフォーマンスを達成したが、LLMベースの埋め込みモデルにとって効果的な設計は何かという疑問が残る。 しかしながら、これらのモデルは、異なるLLMベースモデルやトレーニング設定を使用して、異なるデータセットでトレーニングされることが多い。 さらに、公開埋め込みベンチマークの評価では、しばしば統計的意義を報告できず、どの設計が最終的な性能に本当に貢献するかを判断することが困難である。 これは、LCMベースの埋め込みモデルのための最適なトレーニングレシピを求める実践者にとって、複雑なプロセスである。 本研究では,同じトレーニングデータとベースモデルを用いて,LLMをベースとした一連の埋め込みモデルをトレーニングすることで,大規模な実験を行う。 双方向の注意と追加のトレーニング可能なプーリング層は、テキスト類似性や情報検索タスクよりも優れているが、EOS-lastトークンプーリングやクラスタリングや分類タスクにおけるデフォルト因果的注意など、より単純な設計をはるかに上回っているわけではない。 さらに,最後の層に留まらず,すべての隠蔽層から出力を変換するマルチ層学習型プール方式を提案する。 この手法は,既存のプーリング法と比較して,テキスト類似性や検索タスクにおいて統計的に優れていることを示す。 本稿では,LLMをベースとした埋め込みモデルの効果的なトレーニング戦略について概説する。

関連論文リスト

• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models [38.41524186248607]
  NV-Embedモデルに様々なアーキテクチャ設計とトレーニング手順を導入する。 我々のモデルは、MTEB(Massive Text Embedding Benchmark)で1位、69.32の最高スコアを記録した。 私たちはこのモデルを、https://face.co/EIR/NV-Embed-v1.comでオープンソース化しました。
  論文  参考訳（メタデータ） (2024-05-27T17:59:45Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。