論文の概要: Which LLM to pick? Online Active Model Selection for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.01592v1
• Date: Thu, 01 Oct 2026 12:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.118644
• Title: Which LLM to pick? Online Active Model Selection for Large Language Models
• Title（参考訳）: どのLLMを選ぶか? 大規模言語モデルのためのオンラインアクティブモデル選択
• Abstract要約: Online LLM PICKERは,オンライン設定における大規模言語モデルのアクティブモデル選択のための最初のフレームワークである。 Online LLM PICKERはアノテーションのコストを最大71.67%削減し、ストリームのベストモデルや準ベストモデルを確実に特定する。 また、ストリーム上の無注釈プロンプトの逐次生成に返却されたモデルを使用することで、後悔を最大2.51倍まで減少させることを示す。
• 参考スコア（独自算出の注目度）: 57.174085679006986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly applied to process streaming data, with practitioners relying on benchmarks to select the best model even though these signals only approximate real performance. While oracle annotations can provide reliable feedback, they are often costly and difficult to obtain at scale. To address this challenge, we propose ONLINE LLM PICKER, the first framework for active model selection for LLMs in online settings. Given an arbitrary stream of queries and a limited annotation budget, ONLINE LLM PICKER selects the most informative prompts for annotation to identify the best LLM among candidate models. Across multiple tasks including 10 datasets, for over 130 language models, we show that ONLINE LLM PICKER saves annotation cost by up to 71.67% while reliably identifying the best or near-best model for the stream. We also show that using the returned model for sequential generation on unannotated prompts across the stream reduces regret by up to a factor of 2.51x, indicating that ONLINE LLM PICKER can identify the best or near-best model well before processing all streaming prompts.
• Abstract（参考訳）: 大規模言語モデル(LLM)はストリーミングデータ処理にますます適用され、これらの信号が実際のパフォーマンスを近似しているにもかかわらず、ベストプラクティスを選択するためにベンチマークに頼っている。 オラクルアノテーションは信頼できるフィードバックを提供することができるが、それらはしばしばコストが高く、大規模に入手するのが困難である。 この課題に対処するため,オンライン環境におけるLLMのアクティブモデル選択のための最初のフレームワークであるONLINE LLM PICKERを提案する。 任意のクエリストリームと限定的なアノテーション予算を与えられたONLINE LLM PICKERは、候補モデルの中で最高のLCMを特定するための最も情報性の高いプロンプトを選択する。 10のデータセットを含む複数のタスクにおいて、130以上の言語モデルに対して、ONLINE LLM PICKERはアノテーションのコストを最大71.67%削減し、ストリームの最良のモデルまたはほぼ最高のモデルを特定します。 また、ストリーム上の無通知プロンプトの逐次生成に返却されたモデルを用いることで、最大2.51倍の後悔を減らし、ONLINE LLM PICKERが全てのプロンプトを処理する前に、最良のモデルや準ベストモデルを特定することができることを示す。

関連論文リスト

• Active Model Selection for Large Language Models [18.985244406763258]
  LLM SELECTORはLarge Language Models (LLM) のアクティブモデル選択のための最初のフレームワークである。 特に、任意のタスクに対して、LLM SELECTORは、タスクの最良のモデルについて最も有益なアノテートのための小さなクエリセットを適応的に選択する。 LLM SELECTORは、タスクに最適な最寄りのLCMを選択すると、アノテーションコストを最大59.62%削減する。
  論文  参考訳（メタデータ） (2025-10-10T14:20:47Z)
• Neural Bandit Based Optimal LLM Selection for a Pipeline of Tasks [11.389019661082415]
  本稿では,各サブタスク上でLLMの成功をオンラインにモデル化するニューラルネットワークをトレーニングするニューラルネットワークのコンテキスト帯域ベースアルゴリズムを提案する。 通信質問応答と診断予測データセットの実験から,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2025-08-13T17:19:41Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
  PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。 我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-05-12T17:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。