論文の概要: LLM-based Optimization of Compound AI Systems: A Survey

• arxiv url: http://arxiv.org/abs/2410.16392v1
• Date: Mon, 21 Oct 2024 18:06:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:14.356367
• Title: LLM-based Optimization of Compound AI Systems: A Survey
• Title（参考訳）: LLMによる複合AIシステムの最適化:サーベイ
• Authors: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu,
• Abstract要約: 複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
• 参考スコア（独自算出の注目度）: 64.39860384538338
• License:
• Abstract: In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.
• Abstract（参考訳）: 複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 システムの振る舞いは、主に命令やツール定義などのパラメータによって駆動される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 特に、LLMをオプティマイザとして活用することは、勾配計算を回避し、複雑なコードや命令を生成することができるため、特に効率的である。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。 複合AIシステムのアーキタイプ、LLMベースのエンドツーエンド最適化へのアプローチ、今後の方向性とより広範な影響に関する洞察をカバーしている。 重要なことは、この調査はプログラム分析の概念を使用して、複合AIシステムを最適化するためにLLMオプティマイザをどのように促すかの統一的なビューを提供する。 論文の全リストはhttps://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systemsにある。

関連論文リスト

• LLM Alignment as Retriever Optimization: An Information Retrieval Perspective [44.26715637344781]
  大規模言語モデル(LLM)は、推論、コーディング、コミュニケーションの能力を備えた人工知能に革命をもたらした。 我々の研究は、確立された情報検索(IR)の原則に基づいて、LCMアライメントのための新しい直接最適化手法を導入する。 本稿では,LLMアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント(LarPO)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T01:22:06Z)
• Using Large Language Models for Parametric Shape Optimization [2.464331481632096]
  パラメータ化工学設計の最適形状を決定するための最適化フレームワーク LLM-PSO を開発した。 我々の予備調査は、LLMの形状最適化と工学設計をより広範囲に活用するためのさらなる研究を刺激する可能性がある。
  論文  参考訳（メタデータ） (2024-12-11T03:35:38Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。