論文の概要: Auto-Differentiating Any LLM Workflow: A Farewell to Manual Prompting

• arxiv url: http://arxiv.org/abs/2501.16673v1
• Date: Tue, 28 Jan 2025 03:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:48.485919
• Title: Auto-Differentiating Any LLM Workflow: A Farewell to Manual Prompting
• Title（参考訳）: LLMワークフローを自動的に識別する - 手動プロンプティングの欠点
• Authors: Li Yin, Zhangyang Wang,
• Abstract要約: 自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 58.56731133392544
• License:
• Abstract: Large Language Models (LLMs) have reshaped natural language processing, powering applications from multi-hop retrieval and question answering to autonomous agent workflows. Yet, prompt engineering -- the task of crafting textual inputs to effectively direct LLMs -- remains difficult and labor-intensive, particularly for complex pipelines that combine multiple LLM calls with functional operations like retrieval and data formatting. We introduce LLM-AutoDiff: a novel framework for Automatic Prompt Engineering (APE) that extends textual gradient-based methods (such as Text-Grad) to multi-component, potentially cyclic LLM architectures. Implemented within the AdalFlow library, LLM-AutoDiff treats each textual input as a trainable parameter and uses a frozen backward engine LLM to generate feedback-akin to textual gradients -- that guide iterative prompt updates. Unlike prior single-node approaches, LLM-AutoDiff inherently accommodates functional nodes, preserves time-sequential behavior in repeated calls (e.g., multi-hop loops), and combats the "lost-in-the-middle" problem by isolating distinct sub-prompts (instructions, formats, or few-shot examples). It further boosts training efficiency by focusing on error-prone samples through selective gradient computation. Across diverse tasks, including single-step classification, multi-hop retrieval-based QA, and agent-driven pipelines, LLM-AutoDiff consistently outperforms existing textual gradient baselines in both accuracy and training cost. By unifying prompt optimization through a graph-centric lens, LLM-AutoDiff offers a powerful new paradigm for scaling and automating LLM workflows - mirroring the transformative role that automatic differentiation libraries have long played in neural network research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理を再構築し、マルチホップ検索や質問応答から自律エージェントワークフローまで、アプリケーションを動かす。 しかし、特に複数のLLMコールと検索やデータフォーマッティングといった機能操作を組み合わせた複雑なパイプラインでは、テキスト入力を効果的にLLMを誘導するタスクであるプロンプトエンジニアリングは、依然として困難で労力がかかる。 LLM-AutoDiffは,テキストグラデーションに基づく手法(Text-Gradなど)を多成分,潜在的に循環的なLLMアーキテクチャに拡張する,APE(Automatic Prompt Engineering)のための新しいフレームワークである。 AdalFlowライブラリ内に実装されているLLM-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズされた後方エンジンのLLMを使用して、テキストの勾配へのフィードバック-アキンを生成する。 従来の単一ノードアプローチとは異なり、LLM-AutoDiffは本質的に機能ノードに対応し、繰り返し呼び出し(例えば、マルチホップループ)における時系列動作を保持し、異なるサブプロンプト(命令、フォーマット、少数ショット例)を分離することで「中間のロスト」問題と戦う。 さらに、選択的な勾配計算によってエラーが発生しやすいサンプルに注目することで、トレーニング効率をさらに向上する。 シングルステップ分類、マルチホップ検索ベースのQA、エージェント駆動パイプラインなど、さまざまなタスクに対して、LLM-AutoDiffは、精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回る。 LLM-AutoDiffはグラフ中心のレンズを通じて迅速な最適化を統一することにより、LLMワークフローのスケーリングと自動化のための強力な新しいパラダイムを提供する。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• LLMs can see and hear without any training [63.964888082106974]
  MILSは、お気に入りのLLMにインビューマルチモーダル機能を組み込むための、シンプルでトレーニング不要なアプローチです。 創発的なゼロショット画像,ビデオ,オーディオキャプションを新たに構築する。 勾配のない最適化アプローチであるため、MILSはテキストへのマルチモーダル埋め込みを反転させることができる。
  論文  参考訳（メタデータ） (2025-01-30T02:16:35Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論を高速化するパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 SWIFTは生成したテキストの元の分布を保ちながら1.3x-1.6xの高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents [27.807695570974644]
  LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。 中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2024-06-17T01:23:11Z)
• ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
  ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。 自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:28:54Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。