Fugu-MT 論文翻訳(概要): A bi-objective $\epsilon$-constrained framework for quality-cost optimization in language model ensembles

論文の概要: A bi-objective $\epsilon$-constrained framework for quality-cost optimization in language model ensembles

arxiv url: http://arxiv.org/abs/2312.16119v1
Date: Tue, 26 Dec 2023 16:56:22 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 14:46:26.377613
Title: A bi-objective $\epsilon$-constrained framework for quality-cost optimization in language model ensembles
Title（参考訳）: 言語モデルアンサンブルの品質コスト最適化のための双方向$\epsilon$-Constrainedフレームワーク
Authors: Aditi Singla, Aditya Singh, Kanishk Kukreja
Abstract要約: 本稿では,多種多様なオープンソースのLarge Language Models (LLM) を用いて,コスト効率を維持しつつ高い応答品質を実現するアンサンブルフレームワークを提案する。品質・コストトレードオフを表すために2目的最適化問題を定式化し, 簡単な0/1knapsack問題に還元する追加の予算制約を導入する。
参考スコア（独自算出の注目度）: 1.5039745292757671
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We propose an ensembling framework that uses diverse open-sourced Large Language Models (LLMs) to achieve high response quality while maintaining cost efficiency. We formulate a bi-objective optimization problem to represent the quality-cost tradeoff and then introduce an additional budget constraint that reduces the problem to a straightforward 0/1 knapsack problem. We empirically demonstrate that our framework outperforms the existing ensembling approaches in response quality while significantly reducing costs.
Abstract（参考訳）: 本稿では,多種多様なオープンソース大言語モデル(LLM)を用いて,コスト効率を維持しつつ高い応答品質を実現するアンサンブルフレームワークを提案する。品質コストトレードオフを表わすために,二目的最適化問題を定式化し,0/1クナップサック問題に問題を還元する追加予算制約を導入する。当社のフレームワークは,既存のアンサンブルアプローチよりも応答品質が優れ,コストが大幅に削減されていることを実証的に実証した。

関連論文リスト

Robust personalized pricing under uncertainty of purchase probabilities [2.9061423802698565]
予測された購入確率の不確実性を考慮したパーソナライズ価格のロバストな最適化モデルを提案する。また、線形探索と組み合わせたラグランジアン分解アルゴリズムを開発し、大規模最適化問題に対する高品質な解を効率的に見つける。
論文参考訳（メタデータ） (2024-07-22T02:36:19Z)
Evolve Cost-aware Acquisition Functions Using Large Language Models [11.209139558885035]
本稿では,大規模言語モデル (LLM) と進化計算 (EC) を統合する新しいフレームワークであるEvolCAFを紹介する。設計されたコストアウェアAFは、過去のデータ、サロゲートモデル、予算の詳細から利用可能な情報の利用を最大化する。 EIpu と EI-cool の手法は, 人的専門家が設計した手法と比較して, 様々なタスクにまたがる顕著な効率性と一般化を示す。
論文参考訳（メタデータ） (2024-04-25T12:19:18Z)
Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
論文参考訳（メタデータ） (2024-04-22T23:06:42Z)
Approaching Collateral Optimization for NISQ and Quantum-Inspired Computing [0.0]
担保最適化(Collateral optimization)とは、債務又は担保取引を満たすための金融資産の体系的な配分を指す。一般的な目的の1つは、特定のトランザクションや取引ポートフォリオに関連するリスクを軽減するのに必要な担保コストを最小限にすることである。
論文参考訳（メタデータ） (2023-05-25T18:01:04Z)
Online Learning under Budget and ROI Constraints via Weak Adaptivity [57.097119428915796]
制約付きオンライン学習問題に対する既存の原始双対アルゴリズムは、2つの基本的な仮定に依存している。このような仮定は、標準の原始双対テンプレートを弱適応的後悔最小化器で与えることによって、どのように回避できるのかを示す。上記の2つの前提が満たされていない場合に保証される、世界の最高の保証を証明します。
論文参考訳（メタデータ） (2023-02-02T16:30:33Z)
A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
論文参考訳（メタデータ） (2022-09-15T16:59:19Z)
Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。提案手法は(線形速度で)大域的最適値に収束することが示されている。
論文参考訳（メタデータ） (2022-06-03T16:26:38Z)
Online Learning with Knapsacks: the Best of Both Worlds [54.28273783164608]
オンライン学習の課題として,意思決定者が,リソース制約の有限セットに違反することなく,期待する報酬を最大化したい,という課題を提起する。当社のフレームワークは,意思決定者がそのエビデンスを柔軟かつコスト論的に扱えるようにします。
論文参考訳（メタデータ） (2022-02-28T12:10:48Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。