論文の概要: Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions

• arxiv url: http://arxiv.org/abs/2506.08234v1
• Date: Mon, 09 Jun 2025 21:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.762434
• Title: Compound AI Systems Optimization: A Survey of Methods, Challenges, and Future Directions
• Title（参考訳）: 複合AIシステムの最適化 - 方法論,課題,今後の方向性に関する調査
• Authors: Yu-Ang Lee, Guan-Ting Yi, Mei-Yi Liu, Jui-Chao Lu, Guan-Bo Yang, Yun-Nung Chen,
• Abstract要約: 大規模言語モデルとAIシステムの進歩は、複雑なAIの設計と最適化におけるパラダイムシフトにつながった。 本稿では,複合AIシステムの最適化における最近の進歩を,数値的手法と言語的手法の両方を包含して体系的にレビューする。 我々は、複合AIシステムの最適化の概念を形式化し、いくつかの重要な側面に沿って既存のメソッドを分類し、この急速に発展する分野におけるオープンな研究課題と今後の方向性を明らかにする。
• 参考スコア（独自算出の注目度）: 17.13738027020609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models (LLMs) and AI systems have led to a paradigm shift in the design and optimization of complex AI workflows. By integrating multiple components, compound AI systems have become increasingly adept at performing sophisticated tasks. However, as these systems grow in complexity, new challenges arise in optimizing not only individual components but also their interactions. While traditional optimization methods such as supervised fine-tuning (SFT) and reinforcement learning (RL) remain foundational, the rise of natural language feedback introduces promising new approaches, especially for optimizing non-differentiable systems. This paper provides a systematic review of recent progress in optimizing compound AI systems, encompassing both numerical and language-based techniques. We formalize the notion of compound AI system optimization, classify existing methods along several key dimensions, and highlight open research challenges and future directions in this rapidly evolving field. A list of surveyed papers is publicly available at https://github.com/MiuLab/AISysOpt-Survey.
• Abstract（参考訳）: 大規模言語モデル(LLM)とAIシステムの最近の進歩は、複雑なAIワークフローの設計と最適化におけるパラダイムシフトにつながっている。 複数のコンポーネントを統合することで、複合AIシステムは高度なタスクの実行にますます適している。 しかしながら、これらのシステムが複雑化するにつれて、個々のコンポーネントだけでなく、それらのインタラクションも最適化する上で、新たな課題が発生する。 教師付き微調整(SFT)や強化学習(RL)といった従来の最適化手法は基礎的だが、自然言語フィードバックの台頭は、特に微分不可能なシステムの最適化において、有望な新しいアプローチを導入している。 本稿では,複合AIシステムの最適化における最近の進歩を,数値的手法と言語的手法の両方を包含して体系的にレビューする。 我々は、複合AIシステムの最適化の概念を形式化し、いくつかの重要な側面に沿って既存のメソッドを分類し、この急速に発展する分野におけるオープンな研究課題と今後の方向性を明らかにする。 調査された論文のリストはhttps://github.com/MiuLab/AISysOpt-Survey.comで公開されている。

関連論文リスト

• CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
  大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。 本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。 本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-05-18T07:48:47Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Training of Scaffolded Language Models with Language Supervision: A Survey [62.59629932720519]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems [1.204357447396532]
  ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。 ベイズ最適化の原理にインスパイアされたサンプル効率のNS法を提案する。 BEACONは、限られたサンプリング予算の下で、かなり大きな多様な振る舞いの集合を見出すことで、既存のベースラインを総合的に上回ります。
  論文  参考訳（メタデータ） (2024-06-05T20:23:52Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems [14.355768064425598]
  生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。 しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。 本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
  論文  参考訳（メタデータ） (2023-12-23T11:57:53Z)
• AI-Empowered Hybrid MIMO Beamforming [85.48860461696417]
  ハイブリッドマルチインプット・マルチアウトプット(MIMO)システムは、アナログおよびデジタルのビームフォーミングの一部を実装している。 近年、ハイブリッドビームフォーミング設計にデータ支援人工知能(AI)ツールを使うことへの関心が高まっている。 本稿では、リアルタイムハイブリッドビームフォーミング設計を改善するために、データを活用するための候補戦略についてレビューする。
  論文  参考訳（メタデータ） (2023-03-03T06:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。