論文の概要: EcoRank: Budget-Constrained Text Re-ranking Using Large Language Models

• arxiv url: http://arxiv.org/abs/2402.10866v2
• Date: Tue, 28 May 2024 02:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 01:28:38.391907
• Title: EcoRank: Budget-Constrained Text Re-ranking Using Large Language Models
• Title（参考訳）: EcoRank: 大規模言語モデルを用いた予算制約付きテキストの再分類
• Authors: Muhammad Shihab Rashid, Jannat Ara Meem, Yue Dong, Vagelis Hristidis,
• Abstract要約: 我々は予算が与えられた業績を最大化する方法について研究する。 本稿では,テキストの再ランク付けを行うための予算制約付き手法を提案する。
• 参考スコア（独自算出の注目度）: 6.109188517569139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved state-of-the-art performance in text re-ranking. This process includes queries and candidate passages in the prompts, utilizing pointwise, listwise, and pairwise prompting strategies. A limitation of these ranking strategies with LLMs is their cost: the process can become expensive due to API charges, which are based on the number of input and output tokens. We study how to maximize the re-ranking performance given a budget, by navigating the vast search spaces of prompt choices, LLM APIs, and budget splits. We propose a suite of budget-constrained methods to perform text re-ranking using a set of LLM APIs. Our most efficient method, called EcoRank, is a two-layered pipeline that jointly optimizes decisions regarding budget allocation across prompt strategies and LLM APIs. Our experimental results on four popular QA and passage reranking datasets show that EcoRank outperforms other budget-aware supervised and unsupervised baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストの再ランク付けにおいて最先端のパフォーマンスを達成した。 このプロセスはプロンプト内のクエリと候補パスを含み、ポイントワイド、リストワイド、ペアワイドのプロンプト戦略を利用する。 LLMによるこれらのランキング戦略の制限はコストであり、入力トークンと出力トークンの数に基づいて、APIの課金によってプロセスが高価になる可能性がある。 提案手法は, 迅速な選択, LLM API, 予算分割の膨大な検索空間をナビゲートすることによって, 予算が与えられた性能を最大化する方法について検討する。 LLM APIの集合を用いてテキストの再ランク付けを行うための予算制約付き手法の組を提案する。 私たちの最も効率的な方法は、EcoRankと呼ばれ、プロンプト戦略とLCM API間の予算配分に関する決定を共同で最適化する2層パイプラインです。 EcoRankは,4つの人気QAおよびパスリグレードデータセットの実験結果から,他の予算に配慮した教師なしベースラインよりも優れた性能を示した。

関連論文リスト

• MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [21.689490112983677]
  分類タスクに最適な大言語モデル(LLM)に各クエリを動的にルーティングするフレームワークであるMetaLLMを紹介する。 多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。 LLMプラットフォーム上で実施した本実験では,メタLLMの有効性を実世界のシナリオで示す。
  論文  参考訳（メタデータ） (2024-07-15T15:45:07Z)
• Efficient Sequential Decision Making with Large Language Models [19.083642464977224]
  本稿では,大規模言語モデル(LLM)の成功を逐次意思決定に拡張することに焦点を当てる。 既存の取り組みは、 (i) 意思決定のための再訓練または微調整 LLM または (ii) 事前訓練された LLM の設計プロンプトのいずれかである。 本稿では,オンラインモデル選択アルゴリズムを活用してLLMエージェントを逐次意思決定に効率的に組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:13:22Z)
• Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization [7.674972936853123]
  我々は,同一の入力コンテキストに対するクエリを1つのプロンプトで組み合わせて,繰り返し呼び出しを最小限に抑える方法が,要約の達成に有効かどうかを検討する。 予測フォーマットでの応答生成における100%の信頼性は、通常、特定のクローズドソース LLM に制限される。
  論文  参考訳（メタデータ） (2024-02-29T19:00:47Z)
• Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
  現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。 本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。 実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T18:58:40Z)
• LiPO: Listwise Preference Optimization through Learning-to-Rank [62.02782819559389]
  ポリシーは、プロンプトによってランク付けされた妥当な応答のリストからより効果的に学習することができる。 LiPO-$lambda$ は DPO 変種と SLiC をいくつかの選好アライメントタスクにおいて明確なマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-02T20:08:10Z)
• ReSLLM: Large Language Models are Strong Resource Selectors for Federated Search [35.44746116088232]
  フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。 現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。 ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-31T07:58:54Z)
• Cache & Distil: Optimising API Calls to Large Language Models [82.32065572907125]
  ジェネレーティブAIツールの大規模デプロイは、ユーザクエリをフルフィルするために、LLM(Large Language Model)に対する高価なAPI呼び出しに依存することが多い。 これらの呼び出しの頻度を縮めるために、より小さな言語モデル(学生)を用いることができる。 この学生は、ユーザー要求の増加に独立して対処する能力が徐々に向上する。
  論文  参考訳（メタデータ） (2023-10-20T15:01:55Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。