論文の概要: Trace is the Next AutoDiff: Generative Optimization with Rich Feedback, Execution Traces, and LLMs

• arxiv url: http://arxiv.org/abs/2406.16218v2
• Date: Fri, 01 Nov 2024 00:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:03.517897
• Title: Trace is the Next AutoDiff: Generative Optimization with Rich Feedback, Execution Traces, and LLMs
• Title（参考訳）: Traceが次のAutoDiffになる: リッチフィードバック、実行トレース、LLMによる生成最適化
• Authors: Ching-An Cheng, Allen Nie, Adith Swaminathan,
• Abstract要約: 我々は、コーディングアシスタント、ロボット、コピロなどのAIシステムの設計と更新を自動化することによって動機付けられた最適化問題のクラスについて研究する。 PyTorchのような構文を用いて、ワークフロー最適化問題をOPTOインスタンスに効率的に変換するPython、Traceを提供する。
• 参考スコア（独自算出の注目度）: 19.89948665187903
• License:
• Abstract: We study a class of optimization problems motivated by automating the design and update of AI systems like coding assistants, robots, and copilots. AutoDiff frameworks, like PyTorch, enable efficient end-to-end optimization of differentiable systems. However, general computational workflows can be non-differentiable and involve rich feedback (e.g. console output or user's responses), heterogeneous parameters (e.g. prompts, codes), and intricate objectives (beyond maximizing a score). We investigate end-to-end generative optimization -- using generative models such as LLMs within the optimizer for automatic updating of general computational workflows. We discover that workflow execution traces are akin to back-propagated gradients in AutoDiff and can provide key information to interpret feedback for efficient optimization. Formally, we frame a new mathematical setup, Optimization with Trace Oracle (OPTO). In OPTO, an optimizer receives an execution trace along with feedback on the computed output and updates parameters iteratively. We provide a Python library, Trace, that efficiently converts a workflow optimization problem into an OPTO instance using PyTorch-like syntax. Using Trace, we develop a general LLM-based generative optimizer called OptoPrime. In empirical studies, we find that OptoPrime is capable of first-order numerical optimization, prompt optimization, hyper-parameter tuning, robot controller design, code debugging, etc., and is often competitive with specialized optimizers for each domain. We envision Trace as an open research platform for devising novel generative optimizers and developing the next generation of interactive learning agents. Website: https://microsoft.github.io/Trace/.
• Abstract（参考訳）: 我々は、コーディングアシスタント、ロボット、コピロなどのAIシステムの設計と更新を自動化することによって動機付けられた最適化問題のクラスについて研究する。 PyTorchのようなAutoDiffフレームワークは、差別化可能なシステムの効率的なエンドツーエンドの最適化を可能にする。 しかし、一般的な計算ワークフローは微分不可能であり、リッチなフィードバック(コンソール出力やユーザの応答など)、異種パラメータ(プロンプト、コードなど)、複雑な目的(スコアの最大化など)が伴う。 汎用計算ワークフローの自動更新のために最適化器内のLLMなどの生成モデルを用いて、エンドツーエンドの生成最適化について検討する。 ワークフロー実行トレースはAutoDiffのバックプロパゲート勾配に似ており、効率的な最適化のためにフィードバックを解釈するための重要な情報を提供することができる。 形式的には、我々は新しい数学的設定であるOptimization with Trace Oracle (OPTO) を定めています。 OPTOでは、オプティマイザは計算された出力に対するフィードバックとともに実行トレースを受け取り、パラメータを反復的に更新する。 PyTorchのような構文を用いて、ワークフロー最適化問題をOPTOインスタンスに効率的に変換するPythonライブラリであるTraceを提供する。 Trace を用いて,OptoPrime と呼ばれる LLM ベースのジェネレーションオプティマイザを開発した。 実証実験では,OptoPrimeは1次数値最適化,プロンプト最適化,ハイパーパラメータチューニング,ロボットコントローラ設計,コードデバッギングなどが可能であり,各ドメインの特別なオプティマイザと競合することが多い。 我々は、新しい生成最適化を考案し、次世代の対話型学習エージェントを開発するためのオープンな研究プラットフォームとしてTraceを構想する。 Webサイト: https://microsoft.github.io/Trace/.com

関連論文リスト

• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Language Agents as Optimizable Graphs [31.220547147952278]
  本稿では,Large Language Models (LLM) ベースのエージェントを計算グラフとして記述する。 我々のフレームワークは、様々なLSMエージェントを効率的に開発し、統合し、自動的に改善するために使用することができる。
  論文  参考訳（メタデータ） (2024-02-26T18:48:27Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms [0.6543507682026964]
  Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。 そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
  論文  参考訳（メタデータ） (2021-09-13T19:10:23Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。