論文の概要: A Declarative System for Optimizing AI Workloads

• arxiv url: http://arxiv.org/abs/2405.14696v1
• Date: Thu, 23 May 2024 15:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:16:19.466214
• Title: A Declarative System for Optimizing AI Workloads
• Title（参考訳）: AIワークロード最適化のための宣言システム
• Authors: Chunwei Liu, Matthew Russo, Michael Cafarella, Lei Cao, Peter Baille Chen, Zui Chen, Michael Franklin, Tim Kraska, Samuel Madden, Gerardo Vitagliano,
• Abstract要約: Palimpzestは、宣言型言語で定義することで、誰でもAIによる分析クエリを処理できるシステムである。 本稿では,AIを活用した分析タスクの作業負荷,Palimpzestが使用している最適化手法,プロトタイプシステム自体について述べる。 私たちの単純なプロトタイプでさえ,3.3倍高速で2.9倍安価で,ベースライン方式よりも優れたデータ品質を備えた,魅力的なプランを提供していることを示しています。
• 参考スコア（独自算出の注目度）: 14.302404377396837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern AI models provide the key to a long-standing dream: processing analytical queries about almost any kind of data. Until recently, it was difficult and expensive to extract facts from company documents, data from scientific papers, or insights from image and video corpora. Today's models can accomplish these tasks with high accuracy. However, a programmer who wants to answer a substantive AI-powered query must orchestrate large numbers of models, prompts, and data operations. For even a single query, the programmer has to make a vast number of decisions such as the choice of model, the right inference method, the most cost-effective inference hardware, the ideal prompt design, and so on. The optimal set of decisions can change as the query changes and as the rapidly-evolving technical landscape shifts. In this paper we present Palimpzest, a system that enables anyone to process AI-powered analytical queries simply by defining them in a declarative language. The system uses its cost optimization framework -- which explores the search space of AI models, prompting techniques, and related foundation model optimizations -- to implement the query with the best trade-offs between runtime, financial cost, and output data quality. We describe the workload of AI-powered analytics tasks, the optimization methods that Palimpzest uses, and the prototype system itself. We evaluate Palimpzest on tasks in Legal Discovery, Real Estate Search, and Medical Schema Matching. We show that even our simple prototype offers a range of appealing plans, including one that is 3.3x faster, 2.9x cheaper, and offers better data quality than the baseline method. With parallelism enabled, Palimpzest can produce plans with up to a 90.3x speedup at 9.1x lower cost relative to a single-threaded GPT-4 baseline, while obtaining an F1-score within 83.5% of the baseline. These require no additional work by the user.
• Abstract（参考訳）: 現代のAIモデルは、ほぼあらゆる種類のデータに関する分析クエリを処理するという長年の夢の鍵を提供する。 最近まで、企業文書や科学論文のデータ、画像やビデオのコーパスからの洞察から事実を抽出することは困難で費用がかかる。 今日のモデルはこれらのタスクを高い精度で達成することができる。 しかし、現実的なAIによるクエリに答えたいプログラマは、大量のモデル、プロンプト、データ操作を編成する必要がある。 単一のクエリであっても、モデルの選択、正しい推論方法、最もコスト効率の良い推論ハードウェア、理想的なプロンプト設計など、多くの決定をしなければならない。 クエリの変更や、急速に進化する技術的状況の変化によって、最適な一連の決定が変更される可能性がある。 本稿では,AIを利用した分析クエリを宣言型言語で定義するだけで誰でも処理できるシステムであるPalimpzestを提案する。 このシステムは、AIモデルの検索スペース、技術、関連する基礎モデル最適化を探求するコスト最適化フレームワークを使用して、実行時、財務コスト、出力データ品質の最良のトレードオフでクエリを実装する。 本稿では,AIを活用した分析タスクの作業負荷,Palimpzestが使用している最適化手法,プロトタイプシステム自体について述べる。 法的な発見, 不動産検索, 医療スキーママッチングにおける課題に対するPalimpzestの評価を行った。 私たちの単純なプロトタイプでさえ,3.3倍高速で2.9倍安価で,ベースライン方式よりも優れたデータ品質を備えた,魅力的なプランを提供していることを示しています。 パラレル化を有効にすることで、パラリンピストは1スレッドのGPT-4ベースラインと比較して9.1倍のコストで最大90.3倍のスピードアップでF1スコアを得ることができ、ベースラインの83.5%以内にF1スコアを得ることができる。 これらは、ユーザーによる追加の作業を必要としない。

関連論文リスト

• Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
  商用問題解決者のための自然言語記述から最適化モデルを作成するための自動アプローチを開発する。 本稿では,(1)問題依存仮説空間の定義,(2)不確実性の下でこの空間を効率的に探索すること,(3)定式化の正しさを評価すること,の3つの課題を同定する。
  論文  参考訳（メタデータ） (2024-11-03T20:41:38Z)
• OptiMUS-0.3: Using Large Language Models to Model and Solve Optimization Problems at Scale [16.33736498565436]
  本稿では,Large Language Model (LLM) を用いた自然言語記述から線形プログラミング問題の定式化と解法を提案する。 本システムでは,数理モデルの開発,ソルバコードの記述とデバッグ,生成したソリューションの評価,モデルとコードの効率性と正確性の向上を実現している。 実験によると、OptiMUS-0.3は、簡単なデータセットで12%以上、ハードデータセットで8%以上、既存の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-07-29T01:31:45Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
  AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。 コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。 本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
  論文  参考訳（メタデータ） (2024-06-22T11:17:50Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Bayesian Optimization Over Iterative Learners with Structured Responses: A Budget-aware Planning Approach [31.918476422203412]
  本稿では,HPO 問題を解決するため,Budget-Aware Planning for Iterative Learningers (BAPI) と呼ばれる新しい手法を提案する。 反復学習者のための多様なHPOベンチマークの実験では、ほとんどの場合、BAPIは最先端のベースラインよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2022-06-25T18:44:06Z)
• Uncertainty-Aware Search Framework for Multi-Objective Bayesian Optimization [40.40632890861706]
  高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。 UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
  論文  参考訳（メタデータ） (2022-04-12T16:50:48Z)
• $\{\text{PF}\}^2\text{ES}$: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization Under Unknown Constraints [4.672142224503371]
  本稿では,多目的ベイズ最適化のための情報理論獲得関数を提案する。 $textPF2$ESは、並列設定のための相互情報の低コストで正確な見積もりを提供する。 合成問題と実生活問題で$textPF2$ESをベンチマークします。
  論文  参考訳（メタデータ） (2022-04-11T21:06:23Z)
• An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
  環境からの状態遷移を観察するのは費用がかかる。 標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。 本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-12-09T23:13:57Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• A Survey on Advancing the DBMS Query Optimizer: Cardinality Estimation, Cost Model, and Plan Enumeration [17.75042918159419]
  コストベースのアルゴリズムは、現在のほとんどのデータベースシステムで採用されている。 コストモデル、カーディナリティでは、オペレータによる数字の数は重要な役割を果たします。 基数推定の不正確さ、コストの誤差、および巨大な計画空間モデルにより、アルゴリズムは複雑なクエリに対して妥当な時間で最適な実行計画を見つけることができない。
  論文  参考訳（メタデータ） (2021-01-05T13:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。