論文の概要: Ballad: Bandit-Based LLM Routing for Automated Heuristic Discovery
- arxiv url: http://arxiv.org/abs/2611.17241v1
- Date: Thu, 12 Nov 2026 18:28:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.587475
- Title: Ballad: Bandit-Based LLM Routing for Automated Heuristic Discovery
- Title(参考訳): Ballad: 自動ヒューリスティック発見のためのバンドベースのLSMルーティング
- Abstract要約: オンラインのアルゴリズムは、大規模な言語モデルのプールをアンサンブルに編成し、ソリストのLLMが単独で達成したものと一致するか、あるいは超えるかを示す。
さらにBalladは,最も強力なモデルと比較して,APIコストを最大65.6%削減しながら,個々のモデルをいかに上回っているかを示す。
- 参考スコア(独自算出の注目度): 16.77702472181569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern automated heuristic discovery (AHD) systems increasingly rival hand-crafted heuristics by leveraging Large Language Models (LLMs) to iteratively mutate and refine solutions. A natural assumption is that more powerful and more expensive models consistently yield better heuristics. We challenge this empirically: across multiple NP-hard combinatorial optimization problems, we find no consistent advantage for larger, costlier models. This raises a deeper question: given a pool of LLMs spanning frontier and freely hosted or open-weight models, how should one adaptively select which model to invoke at each step of the search? The challenge is non-trivial. The optimal LLM may shift over the course of a run, and because one LLM's output seeds the context for subsequent calls, each model's reward signal is non-stationary and entangled across the heuristic population, thus violating the independence assumptions of classical online decision-making settings. We address this through Ballad (Bandit-based LLM Routing for Automated Heuristic Discovery), an online bandit algorithm that learns to orchestrate a pool of LLMs into an ensemble that matches or exceeds what any soloist LLM achieves alone. This orchestration is powered by an LLM selection policy that favors rare, high-scoring heuristics over stable averages, a DAG-based credit propagation mechanism through the genealogy of the heuristic population, and discounting of stale observations to remain attuned to each model's current utility. Across five NP-hard combinatorial optimization problems and a pool of four models of varying capability and cost, Ballad not only matches the best individual LLM in hindsight but, in several cases, surpasses every individual model while reducing API cost by up to 65.6% relative to always using the strongest model.
- Abstract(参考訳): 現代の自動ヒューリスティック発見 (AHD) システムは、Large Language Models (LLMs) を利用して反復的に変更し、洗練されたソリューションを活用することで、手作りヒューリスティックとますます競合するようになっている。
自然な仮定は、より強力で高価なモデルは一貫してより良いヒューリスティックをもたらすというものである。
複数のNPハード組合せ最適化問題にまたがって、より大型で高価なモデルに対して一貫した優位性は見つからない。
このことは、フロンティアと自由にホストされた、あるいはオープンウェイトなモデルにまたがるLLMのプールを考えると、検索の各ステップでどのモデルを呼び出すべきかを適応的に選択するにはどうすればよいのか?
チャレンジは簡単ではありません。
最適 LLM は実行中にシフトし、ある LLM の出力がその後の呼び出しのコンテキストをシードするため、各モデルの報酬信号は非定常的であり、ヒューリスティックな集団に絡み合わされ、古典的なオンライン意思決定設定の独立性前提に違反する。
Ballad(バンディットに本拠を置くLLM Routing for Automated Heuristic Discovery)は、LLMのプールをアンサンブルにまとめるオンラインバンディットアルゴリズムである。
このオーケストレーションは、安定した平均よりも希少でハイスコアなヒューリスティックを好むLCM選択ポリシー、ヒューリスティックな集団の系譜を通したDAGベースの信用伝播機構、そして各モデルの現在のユーティリティに順応する古い観測の割引によって実現されている。
5つのNPハード組合せ最適化問題と、様々な能力とコストの4つのモデルのプールにまたがって、バラッドは最も優れた個人LSMに適合するだけでなく、いくつかのケースでは、APIコストを常に最強のモデルと比較して最大65.6%削減する。
関連論文リスト
- Scoring, Reasoning, and Selecting the Best! Ensembling Large Language Models via a Peer-Review Process [58.265053900416895]
LLM-PeerReviewは、ピアレビューに触発された新しいフレームワークの上に構築されている。
スコアリングには、新たなLCM-as-a-Judgeテクニックを使用します。
推論にはグラフィカルモデルに基づく真理推論アルゴリズムを適用する。
最後に、最高スコア応答をベストアンサンブル出力として選択する。
論文 参考訳(メタデータ) (2025-12-29T05:25:49Z) - Uncertainty-Aware Answer Selection for Improved Reasoning in Multi-LLM Systems [55.6590601898194]
大規模言語モデル(LLM)は例外的な機能を示しているが、複数のLLMから最も信頼性の高い応答を選択することは依然として困難である。
既存のアプローチは、しばしばコストのかかる外部検証器、人間の評価器、または単一のモデルから複数のサンプルを必要とする自己整合技術に依存している。
校正されたログ類似度スコアを用いて,複数のLLMから最適な応答を選択するための,原理的,斬新で,計算的に効率的な手法を提案する。
論文 参考訳(メタデータ) (2025-09-30T01:25:19Z) - LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。
LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。
特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。
次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
論文 参考訳(メタデータ) (2025-05-01T15:07:32Z) - Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。
ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。
異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
論文 参考訳(メタデータ) (2025-01-16T07:58:33Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-05-29T17:59:07Z) - Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。
我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。
実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-05-03T14:38:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。