論文の概要: Abacus: A Cost-Based Optimizer for Semantic Operator Systems
- arxiv url: http://arxiv.org/abs/2505.14661v2
- Date: Tue, 17 Jun 2025 15:45:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 15:22:20.629786
- Title: Abacus: A Cost-Based Optimizer for Semantic Operator Systems
- Title（参考訳）: Abacus: セマンティック演算子のコストベース最適化
- Authors: Matthew Russo, Sivaprasad Sudhir, Gerardo Vitagliano, Chunwei Liu, Tim Kraska, Samuel Madden, Michael Cafarella,
- Abstract要約: 本稿では,セマンティック演算子の最適実装を探索するコストベースシステムであるAbacusを紹介する。
Abacusは、最小限の検証例と、もし可能であれば、オペレータのパフォーマンスに関する事前の信念を活用することで、オペレータのパフォーマンスを見積もる。
Abacusによって最適化されたシステムは、19.2%-39.2%の優れた品質、23.6倍の低コスト、4.2倍のレイテンシを実現している。
- 参考スコア（独自算出の注目度）: 12.831601498212397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs enable an exciting new class of data processing applications over large collections of unstructured documents. Several new programming frameworks have enabled developers to build these applications by composing them out of semantic operators: a declarative set of AI-powered data transformations with natural language specifications. These include LLM-powered maps, filters, joins, etc. used for document processing tasks such as information extraction, summarization, and more. While systems of semantic operators have achieved strong performance on benchmarks, they can be difficult to optimize. An optimizer for this setting must determine how to physically implement each semantic operator in a way that optimizes the system globally. Existing optimizers are limited in the number of optimizations they can apply, and most (if not all) cannot optimize system quality, cost, or latency subject to constraint(s) on the other dimensions. In this paper we present Abacus, an extensible, cost-based optimizer which searches for the best implementation of a semantic operator system given a (possibly constrained) optimization objective. Abacus estimates operator performance by leveraging a minimal set of validation examples and, if available, prior beliefs about operator performance. We evaluate Abacus on document processing workloads in the biomedical and legal domains (BioDEX; CUAD) and multi-modal question answering (MMQA). We demonstrate that systems optimized by Abacus achieve 18.7%-39.2% better quality and up to 23.6x lower cost and 4.2x lower latency than the next best system.
- Abstract（参考訳）: LLMは、構造化されていないドキュメントの大規模なコレクションにまたがる、エキサイティングな新しい種類のデータ処理アプリケーションを可能にします。
いくつかの新しいプログラミングフレームワークによって、開発者はこれらのアプリケーションをセマンティック演算子から構成することで構築できるようになった。
その中には、情報抽出や要約などの文書処理タスクに使用されるLLMマップ、フィルタ、結合などが含まれる。
セマンティック演算子のシステムはベンチマークで高い性能を達成したが、最適化は困難である。
この設定のオプティマイザは、システムをグローバルに最適化する方法として、各セマンティック演算子を物理的に実装する方法を決定する必要がある。
既存のオプティマイザは適用可能な最適化の数に制限があり、ほとんどの(すべてではないとしても)システム品質、コスト、あるいは他の次元の制約を受ける遅延を最適化することはできない。
本稿では,(制約のある)最適化目標を与えられたセマンティック演算子の最適実装を探索する拡張性のあるコストベースオプティマイザであるAbacusを提案する。
Abacusは、最小限の検証例と、もし可能であれば、オペレータのパフォーマンスに関する事前の信念を活用することで、オペレータのパフォーマンスを見積もる。
Abacus on document processing workloads in the biomedical and legal domain (BioDEX, CUAD) and multi-modal question answering (MMQA)。
Abacusによって最適化されたシステムは、18.7%-39.2%の優れた品質、23.6倍の低コスト、4.2倍のレイテンシを実現している。
関連論文リスト
- Self-Supervised Prompt Optimization [16.06653117043314]
十分に設計されたプロンプトは、Large Language Model(LLM)推論能力の強化に不可欠である。
既存のプロンプト最適化手法は、地上の真実や人間による外部参照に大きく依存している。
本稿では,閉じたタスクとオープンなタスクの両方に効果的なプロンプトを発見する費用効率のよいフレームワークであるセルフ・スーパービジョン・プロンプト・最適化(SPO)を提案する。
論文 参考訳（メタデータ） (2025-02-07T17:45:16Z) - OptiSeq: Ordering Examples On-The-Fly for In-Context Learning [8.603219414567084]
OptiSeqは、最適なサンプル順序を効率的に決定する、純粋に推論時間、データセットなしの最適化手法である。
OptiSeqは複数のタスクで5.5～10.5ポイントの精度向上を実現している。
論文 参考訳（メタデータ） (2025-01-25T02:24:00Z) - The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。
少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
論文 参考訳（メタデータ） (2024-11-05T07:10:00Z) - Training of Scaffolded Language Models with Language Supervision: A Survey [62.59629932720519]
本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。
本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
論文 参考訳（メタデータ） (2024-10-21T18:06:25Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Semantic Operators: A Declarative Model for Rich, AI-based Data Processing [27.294714926492187]
我々は、宣言型および汎用AIベースの変換のための最初の定式化である意味演算子を紹介する。
セマンティックフィルタリング,ジョイン,グループバイ,トップk操作を最大1000ドルまで高速化する新しい最適化を提案する。
セマンティック・オペレーター・モデルは表現力があり、いくつかのオペレーター・コールで最先端のAIパイプラインをキャプチャする。
論文 参考訳（メタデータ） (2024-07-16T06:19:14Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - SEE: Strategic Exploration and Exploitation for Cohesive In-Context Prompt Optimization [8.975505323004427]
大規模言語モデル(LLM)のための新しい結合型インコンテキストプロンプト最適化フレームワークを提案する。
SEEは、メタヒューリスティック最適化の原則を採用し、戦略的に探索と活用を行うスケーラブルで効率的なプロンプト最適化フレームワークである。
SEEは最先端のベースライン法を大幅に上回り、平均性能は13.94、計算コストは58.67である。
論文 参考訳（メタデータ） (2024-02-17T17:47:10Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳（メタデータ） (2023-09-07T00:07:15Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳（メタデータ） (2023-05-23T11:30:43Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。