Fugu-MT 論文翻訳(概要): LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding

論文の概要: LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding

arxiv url: http://arxiv.org/abs/2404.05825v1
Date: Mon, 8 Apr 2024 19:29:07 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 18:38:40.009088
Title: LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding
Title（参考訳）: LLM強化検索:言語モデルとドキュメントレベル埋め込みによる検索モデルの強化
Authors: Mingrui Wu, Sheng Cao,
Abstract要約: 本稿では,大規模言語モデル拡張によるモデルに依存しないドキュメントレベルの埋め込みフレームワークを提案する。我々は広く利用されている検索モデルの有効性を大幅に改善することができた。
参考スコア（独自算出の注目度）: 2.0257616108612373
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently embedding-based retrieval or dense retrieval have shown state of the art results, compared with traditional sparse or bag-of-words based approaches. This paper introduces a model-agnostic doc-level embedding framework through large language model (LLM) augmentation. In addition, it also improves some important components in the retrieval model training process, such as negative sampling, loss function, etc. By implementing this LLM-augmented retrieval framework, we have been able to significantly improve the effectiveness of widely-used retriever models such as Bi-encoders (Contriever, DRAGON) and late-interaction models (ColBERTv2), thereby achieving state-of-the-art results on LoTTE datasets and BEIR datasets.
Abstract（参考訳）: 近年, 埋込型検索や密集型検索は, 従来のスパースやバッグ・オブ・ワードによる手法と比較して, 最先端の結果を示している。本稿では,大規模言語モデル(LLM)によるモデルに依存しないドキュメントレベルの埋め込みフレームワークを提案する。さらに、ネガティブサンプリングや損失関数など、検索モデルトレーニングプロセスの重要なコンポーネントも改善されている。このLLM拡張検索フレームワークを実装することで、Biエンコーダ(Contriever, DRAGON)やレイト・インタラクション・モデル(ColBERTv2)といった広く使われている検索モデルの有効性を大幅に向上し、LoTTEデータセットとBEIRデータセットの最先端結果を得ることができた。

関連論文リスト

Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要であるプレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
論文参考訳（メタデータ） (2024-06-20T21:27:57Z)
The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
論文参考訳（メタデータ） (2023-12-21T03:51:08Z)
Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文参考訳（メタデータ） (2023-11-16T10:42:58Z)
RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文参考訳（メタデータ） (2023-08-15T17:59:18Z)
Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-08T09:12:28Z)
On the Generalization Ability of Retrieval-Enhanced Transformers [1.0552465253379135]
トレーニング可能な重みから検索データベースへのオフロードメモリは、言語モデリングを大幅に改善することができる。この性能向上の少なくとも一部は、モデル重みと検索の両方に基づく非自明な一般化によるものであることが示唆されている。検索結果から得られる性能は,データベースとテストデータの間に重複するトークンが主な原因であることが判明した。
論文参考訳（メタデータ） (2023-02-23T16:11:04Z)
DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文参考訳（メタデータ） (2022-10-28T11:18:10Z)
Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文参考訳（メタデータ） (2022-09-23T18:36:01Z)
Curriculum Learning for Dense Retrieval Distillation [20.25741148622744]
CL-DRDと呼ばれる総合的なカリキュラム学習に基づく最適化フレームワークを提案する。 CL-DRDは、リグレード(教師)モデルによって生成されたトレーニングデータの難易度を制御する。 3つのパブリックパス検索データセットの実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2022-04-28T17:42:21Z)
SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文参考訳（メタデータ） (2021-09-21T10:43:42Z)
Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。