論文の概要: RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation

• arxiv url: http://arxiv.org/abs/2406.14764v1
• Date: Thu, 20 Jun 2024 22:28:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 15:22:05.755793
• Title: RE-AdaptIR: Improving Information Retrieval through Reverse Engineered Adaptation
• Title（参考訳）: RE-AdaptIR:リバースエンジニアリング適応による情報検索の改善
• Authors: William Fleshman, Benjamin Van Durme,
• Abstract要約: テキスト検索のために微調整された大規模言語モデル(LLM)は、いくつかの情報検索ベンチマークで最先端の結果を示している。 本稿では,情報検索の文脈へのリバースエンジニアリング適応の拡張の有効性について検討する。
• 参考スコア（独自算出の注目度）: 37.969478059005574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) fine-tuned for text-retrieval have demonstrated state-of-the-art results across several information retrieval (IR) benchmarks. However, supervised training for improving these models requires numerous labeled examples, which are generally unavailable or expensive to acquire. In this work, we explore the effectiveness of extending reverse engineered adaptation to the context of information retrieval (RE-AdaptIR). We use RE-AdaptIR to improve LLM-based IR models using only unlabeled data. We demonstrate improved performance both in training domains as well as zero-shot in domains where the models have seen no queries. We analyze performance changes in various fine-tuning scenarios and offer findings of immediate use to practitioners.
• Abstract（参考訳）: テキスト検索のために微調整された大規模言語モデル(LLM)は、いくつかの情報検索(IR)ベンチマークで最先端の結果を示している。 しかし、これらのモデルを改善するための教師付きトレーニングには、多くのラベル付きサンプルが必要である。 本研究では,情報検索(RE-AdaptIR)におけるリバースエンジニアリング適応の有効性について検討する。 我々は RE-AdaptIR を用いてラベルなしデータのみを用いて LLM ベースの IR モデルを改善する。 トレーニングドメインとゼロショットの両方で、モデルがクエリを含まないドメインで、パフォーマンスが改善されたことを実証する。 各種微調整シナリオのパフォーマンス変化を分析し,実践者に即時使用の知見を提供する。

関連論文リスト

• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Improving Generalization via Meta-Learning on Hard Samples [8.96835934244022]
  検証集合における難しい分類インスタンスの使用は、理論上の関係と、一般化の強い経験的証拠の両方を持つことを示す。 我々は,このメタ最適化モデルを訓練するための効率的なアルゴリズムと,注意深い比較研究のための簡単なトレインツースを提供する。
  論文  参考訳（メタデータ） (2024-03-18T20:33:44Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models [41.45240621979654]
  情報検索のための異種ベンチマークであるBEIRを紹介する。 ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。 Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
  論文  参考訳（メタデータ） (2021-04-17T23:29:55Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。