論文の概要: Are Optimal Algorithms Still Optimal? Rethinking Sorting in LLM-Based Pairwise Ranking with Batching and Caching

• arxiv url: http://arxiv.org/abs/2505.24643v1
• Date: Fri, 30 May 2025 14:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.003623
• Title: Are Optimal Algorithms Still Optimal? Rethinking Sorting in LLM-Based Pairwise Ranking with Batching and Caching
• Title（参考訳）: 最適アルゴリズムは依然として最適か? バッチとキャッシュによるLLMによるペアワイドランキングにおけるソーティングの再考
• Authors: Juan Wisznia, Cecilia Bolaños, Juan Tollo, Giovanni Marraffini, Agustín Gianolini, Noe Hsueh, Luciano Del Corro,
• Abstract要約: ペアワイズランキング(PRP)におけるアルゴリズム解析のための新しいフレームワークを提案する。 比較数に基づく古典的指標は、伝統的に効率を測るために用いられてきたが、我々の分析は、高価な推測がこれらの予測を覆すことを示した。
• 参考スコア（独自算出の注目度）: 0.32248482136498424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel framework for analyzing sorting algorithms in pairwise ranking prompting (PRP), re-centering the cost model around LLM inferences rather than traditional pairwise comparisons. While classical metrics based on comparison counts have traditionally been used to gauge efficiency, our analysis reveals that expensive LLM inferences overturn these predictions; accordingly, our framework encourages strategies such as batching and caching to mitigate inference costs. We show that algorithms optimal in the classical setting can lose efficiency when LLM inferences dominate the cost under certain optimizations.
• Abstract（参考訳）: 本稿では、従来のペアワイズ比較ではなく、LLM推論のコストモデルを再中心化して、ペアワイズランキングプロンプト(PRP)におけるソートアルゴリズムを解析するための新しいフレームワークを提案する。 比較数に基づく古典的メトリクスは従来,効率を測るために用いられてきたが,我々の分析では,高価なLLM推論がこれらの予測を覆し,バッチ処理やキャッシュといった戦略を奨励し,推論コストを軽減している。 LLM推論が特定の最適化の下でコストを支配下に置くと、古典的な設定で最適なアルゴリズムが効率を損なうことが示される。

関連論文リスト

• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Data-Driven Performance Guarantees for Classical and Learned Optimizers [2.0403774954994858]
  連続最適化アルゴリズムの性能を解析するためのデータ駆動型手法を提案する。 パラメトリック最適化問題のファミリーを解くために古典と学習を研究した。
  論文  参考訳（メタデータ） (2024-04-22T02:06:35Z)
• Optimizing with Low Budgets: a Comparison on the Black-box Optimization Benchmarking Suite and OpenAI Gym [2.511157007295545]
  Black-box Optimization (BO)アルゴリズムは機械学習(ML)で人気がある MLのためのBBOツールと、より古典的なCOCOの比較を行う。 BBOコミュニティのアルゴリズムの中には、MLタスクで驚くほどうまく機能するものもある。
  論文  参考訳（メタデータ） (2023-09-29T18:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。