論文の概要: Using Combinatorial Optimization to Design a High quality LLM Solution
- arxiv url: http://arxiv.org/abs/2405.13020v1
- Date: Wed, 15 May 2024 11:13:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 02:48:13.111972
- Title: Using Combinatorial Optimization to Design a High quality LLM Solution
- Title（参考訳）: 組合せ最適化による高品質LCMソリューションの設計
- Authors: Samuel Ackerman, Eitan Farchi, Rami Katan, Orna Raz,
- Abstract要約: 最適化とサンプリングを利用した新しいソリューション設計手法を提案する。
ソリューションの品質に影響を与える要因のセットが特定される。
このアプローチは、各ベンチマークの設計と評価がP$で時間を要する場合、特に当てはまります。
- 参考スコア（独自算出の注目度）: 1.764934641264962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel LLM based solution design approach that utilizes combinatorial optimization and sampling. Specifically, a set of factors that influence the quality of the solution are identified. They typically include factors that represent prompt types, LLM inputs alternatives, and parameters governing the generation and design alternatives. Identifying the factors that govern the LLM solution quality enables the infusion of subject matter expert knowledge. Next, a set of interactions between the factors are defined and combinatorial optimization is used to create a small subset $P$ that ensures all desired interactions occur in $P$. Each element $p \in P$ is then developed into an appropriate benchmark. Applying the alternative solutions on each combination, $p \in P$ and evaluating the results facilitate the design of a high quality LLM solution pipeline. The approach is especially applicable when the design and evaluation of each benchmark in $P$ is time-consuming and involves manual steps and human evaluation. Given its efficiency the approach can also be used as a baseline to compare and validate an autoML approach that searches over the factors governing the solution.
- Abstract（参考訳）: 組合せ最適化とサンプリングを利用した新しいLCMベースのソリューション設計手法を提案する。
具体的には、解の質に影響を与える要因の集合を同定する。
典型的には、プロンプト型を表す因子、LLM入力の代替品、生成と設計の代替品を管理するパラメータが含まれる。
LLMソリューションの品質を規定する要因の特定は、課題専門知識の注入を可能にする。
次に、因子間の相互作用の集合が定義され、組合せ最適化が小さなサブセット$P$を作成するために使用され、すべての所望の相互作用が$P$で実行されることを保証します。
各要素$p \in P$は適切なベンチマークとして開発される。
それぞれの組み合わせに代替ソリューションを適用すると、$p \in P$ となり、その結果を評価し、高品質な LLM ソリューションパイプラインの設計を容易にする。
このアプローチは、P$で各ベンチマークの設計と評価が時間がかかり、手動のステップと人的評価が伴う場合、特に当てはまります。
その効率性を考えると、ソリューションを管理する要因を検索するAutoMLアプローチを比較し、検証するためのベースラインとしても使用できる。
関連論文リスト
- Learning Multiple Initial Solutions to Optimization Problems [52.9380464408756]
厳密なランタイム制約の下で、同様の最適化問題を順次解決することは、多くのアプリケーションにとって不可欠である。
本稿では,問題インスタンスを定義するパラメータが与えられた初期解を多種多様に予測する学習を提案する。
提案手法は,すべての評価設定において有意かつ一貫した改善を実現し,必要な初期解の数に応じて効率よくスケールできることを実証した。
論文 参考訳（メタデータ） (2024-11-04T15:17:19Z) - Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
商用問題解決者のための自然言語記述から最適化モデルを作成するための自動アプローチを開発する。
本稿では,(1)問題依存仮説空間の定義,(2)不確実性の下でこの空間を効率的に探索すること,(3)定式化の正しさを評価すること,の3つの課題を同定する。
論文 参考訳（メタデータ） (2024-11-03T20:41:38Z) - AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。
コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
論文 参考訳（メタデータ） (2024-10-04T04:03:24Z) - LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。
このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-03T18:12:29Z) - Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。
本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。
提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
論文 参考訳（メタデータ） (2024-06-27T02:46:30Z) - Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。
赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-21T05:57:08Z) - OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。
当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。
OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2024-05-24T01:05:37Z) - Controllable Expensive Multi-objective Learning with Warm-starting
Bayesian Optimization [4.833815605196964]
本稿では,Co-PSLと呼ばれる新しい制御可能な手法を用いて,既存のPSL法の不安定性と非効率性に対処することを提案する。
前者はPSLプロセスの安定化と高価な機能評価の削減を支援するためであり、後者は競合する目的間のリアルタイムトレードオフ制御を支援するためである。
合成および実世界のMOO問題における性能は、高価な多目的最適化タスクにおけるCo-PSLの有効性を示す。
論文 参考訳（メタデータ） (2023-11-26T13:45:21Z) - Towards Optimizing with Large Language Models [3.80039497875781]
各種タスクやデータサイズにまたがるLLMの最適化能力の評価を行う。
様々な視点からタスクパフォーマンスの総合評価を行うために,3つの異なる指標を紹介した。
論文 参考訳（メタデータ） (2023-10-08T15:35:00Z) - Uncertainty-Aware Search Framework for Multi-Objective Bayesian
Optimization [40.40632890861706]
高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。
UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
論文 参考訳（メタデータ） (2022-04-12T16:50:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。