論文の概要: ICLERB: In-Context Learning Embedding and Reranker Benchmark

• arxiv url: http://arxiv.org/abs/2411.18947v1
• Date: Thu, 28 Nov 2024 06:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:42.515089
• Title: ICLERB: In-Context Learning Embedding and Reranker Benchmark
• Title（参考訳）: ICLERB: In-Context Learning Embedding and Reranker Benchmark
• Authors: Marie Al Ghossein, Emile Contal, Alexandre Robicquet,
• Abstract要約: In-Context Learning (ICL)により、大規模言語モデルでは、関連する情報でプロンプトを条件付けすることで、新しいタスクを実行できる。 従来の検索手法は意味的関連性を重視し,検索を探索問題として扱う。 ICLタスクの効用を最大化する文書を選択することを目的としたレコメンデーション問題として、ICLのリフレーミング検索を提案する。
• 参考スコア（独自算出の注目度）: 45.40331863265474
• License:
• Abstract: In-Context Learning (ICL) enables Large Language Models (LLMs) to perform new tasks by conditioning on prompts with relevant information. Retrieval-Augmented Generation (RAG) enhances ICL by incorporating retrieved documents into the LLM's context at query time. However, traditional retrieval methods focus on semantic relevance, treating retrieval as a search problem. In this paper, we propose reframing retrieval for ICL as a recommendation problem, aiming to select documents that maximize utility in ICL tasks. We introduce the In-Context Learning Embedding and Reranker Benchmark (ICLERB), a novel evaluation framework that compares retrievers based on their ability to enhance LLM accuracy in ICL settings. Additionally, we propose a novel Reinforcement Learning-to-Rank from AI Feedback (RLRAIF) algorithm, designed to fine-tune retrieval models using minimal feedback from the LLM. Our experimental results reveal notable differences between ICLERB and existing benchmarks, and demonstrate that small models fine-tuned with our RLRAIF algorithm outperform large state-of-the-art retrieval models. These findings highlight the limitations of existing evaluation methods and the need for specialized benchmarks and training strategies adapted to ICL.
• Abstract（参考訳）: In-Context Learning(ICL)により、Large Language Models(LLM)は、関連する情報でプロンプトを条件付けすることで、新しいタスクを実行できる。 Retrieval-Augmented Generation (RAG)は、検索された文書をクエリ時にLLMのコンテキストに組み込むことで、ICLを強化する。 しかし,従来の検索手法は意味的関連性を重視し,検索を探索問題として扱う。 本稿では,ICLタスクの効用を最大化する文書を選択することを目的としたレコメンデーション問題として,ICLのリフレーミング検索を提案する。 In-Context Learning Embedding and Reranker Benchmark (ICLERB) は、ICL設定におけるLCMの精度を向上させる能力に基づいて、検索者を比較する新しい評価フレームワークである。 さらに,LLMからの最小限のフィードバックを用いて検索モデルを微調整するRLRAIF(Reinforcement Learning-to-Rank from AI Feedback)アルゴリズムを提案する。 実験の結果,ICLERBと既存ベンチマークの顕著な差異が明らかとなり,RLRAIFアルゴリズムで微調整された小型モデルは,最先端の検索モデルよりも優れていることが示された。 これらの知見は、既存の評価手法の限界と、ICLに適合した特別なベンチマークとトレーニング戦略の必要性を浮き彫りにしている。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Real-Time Personalization for LLM-based Recommendation with Customized In-Context Learning [57.28766250993726]
  この研究は、モデル更新なしに動的なユーザ関心に適応することを検討する。 既存のLarge Language Model (LLM)ベースのレコメンダは、レコメンデーションチューニング中にコンテキスト内学習能力を失うことが多い。 本稿では,レコメンデーション固有のインコンテキスト学習をリアルタイムレコメンデーションにカスタマイズするRecICLを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:48:36Z)
• GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval [20.807374287510623]
  我々は,多種多様な意図を適応的に捉えるための生成クラスタリング・改革フレームワークGenCRFを提案する。 我々はGenCRFが,nDCG@10で従来のクエリ修正SOTAを最大12%上回り,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-17T05:59:32Z)
• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction [11.535892987373947]
  関係抽出(RE)は、テキストで言及されたエンティティ間の関係を特定することを目的としている。 大規模言語モデル(LLM)は、様々なタスクにおいて、コンテキスト内学習能力を印象的に示している。 LLMは、ほとんどの教師付き細調整RE法と比較して性能が劣る。
  論文  参考訳（メタデータ） (2024-04-27T07:12:52Z)
• Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
  本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。 高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
  論文  参考訳（メタデータ） (2024-03-23T00:49:40Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。