論文の概要: TextGrad: Automatic "Differentiation" via Text
- arxiv url: http://arxiv.org/abs/2406.07496v1
- Date: Tue, 11 Jun 2024 17:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 14:45:44.638488
- Title: TextGrad: Automatic "Differentiation" via Text
- Title（参考訳）: TextGrad: テキストによる自動「識別」
- Authors: Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou,
- Abstract要約: TextGradはテキストフィードバックをバックプロパゲートして、複合AIシステムの個々のコンポーネントを改善する。
さまざまなタスクに対してアウト・オブ・ボックスで動作し、ユーザはフレームワークのコンポーネントやプロンプトをチューニングすることなく、客観的な機能のみを提供する。
質問応答や分子最適化から放射線治療計画まで,様々な応用において,TextGradの有効性と汎用性を示す。
- 参考スコア（独自算出の注目度）: 32.94896315864364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from $51\%$ to $55\%$, yields $20\%$ relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.
- Abstract（参考訳）: AIはパラダイムシフトを実施しており、複数の大規模言語モデル(LLM)やその他の複雑なコンポーネントをオーケストレーションするシステムによって、ブレークスルーが達成されている。
結果として、複合AIシステムのための原則付きおよび自動化最適化手法の開発は、最も重要な新しい課題の1つである。
ニューラルネットワークは、バックプロパゲーションと自動微分が、最適化のターンキーを作ることによってフィールドを変革するまで、初期の段階で同様の課題に直面した。
これに触発されたTextGradは、テキストを介して自動「微分」を実行する強力なフレームワークである。
TextGradはLLMが提供するテキストフィードバックをバックプロパゲートして、複合AIシステムの個々のコンポーネントを改善する。
我々のフレームワークでは、LLMは、コードスニペットから分子構造まで、計算グラフの変数を最適化するためのリッチで汎用的な自然言語提案を提供する。
TextGradはPyTorchの構文と抽象化に従っており、柔軟で使いやすい。
さまざまなタスクに対してアウト・オブ・ボックスで動作し、ユーザはフレームワークのコンポーネントやプロンプトをチューニングすることなく、客観的な機能のみを提供する。
質問応答や分子最適化から放射線治療計画まで,様々な応用において,TextGradの有効性と汎用性を示す。
フレームワークを変更することなく、TextGradはGoogle-Proof QuestionのGPT-4oのゼロショット精度を改善し、回答は511\%$から555\%$に改善し、LeetCode-Hardコーディング問題ソリューションの最適化に20\%$の相対的なパフォーマンス向上をもたらし、推論のプロンプトを改善し、シリコ結合に好適な新しいドラッグライクな小さな分子を設計し、放射線オンコロジー治療プランを高い特異性で設計する。
TextGradは、次世代AIシステムの開発を加速する基盤を築いている。
関連論文リスト
- UltraGen: Extremely Fine-grained Controllable Generation via Attribute Reconstruction and Global Preference Optimization [33.747872934103334]
既存のメソッドは主に3から5のような小さな属性セットにフォーカスする。
極微細制御可能ジェネレーション(EFCG)のための新しいゼロショット手法を提案する。
本研究では,制約満足度(CSR)とEFCGのテキスト品質を,バイアスを緩和し,注意の希釈を緩和することで著しく改善する。
論文 参考訳（メタデータ） (2025-02-17T23:28:58Z) - Fast Prompt Alignment for Text-to-Image Generation [28.66112701912297]
本稿では,FPA(Fast Prompt Alignment)を提案する。
FPAは単一命令プロンプトのパラフレーズに大規模言語モデル(LLM)を使用し、その後最適化されたプロンプトで微調整やテキスト内学習を行う。
FPAは、処理時間のごく一部で競合するテキスト画像アライメントスコアを達成する。
論文 参考訳（メタデータ） (2024-12-11T18:58:41Z) - Revolve: Optimizing AI Systems by Tracking Response Evolution in Textual Optimization [42.570114760974946]
本稿では,大規模な言語モデル(LLM)において,反復的に「EVOLVE」を「R」で表現する手法であるREVOLVEを紹介する。
実験の結果、REVOLVEは競争ベースラインを上回り、迅速な最適化が7.8%向上し、ソリューションの改良が20.72%向上し、コード最適化が29.17%向上した。
論文 参考訳（メタデータ） (2024-12-04T07:44:35Z) - Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。
データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。
トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。
政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
論文 参考訳（メタデータ） (2024-10-17T12:43:49Z) - TG-LLaVA: Text Guided LLaVA via Learnable Latent Embeddings [61.9257731511557]
視覚言語モデル(VLM)を最適化するためのテキストガイド付きLLaVA(TG-LLaVA)を提案する。
学習可能な潜伏埋め込みをブリッジとして使用し、テキスト命令を分析し、視覚エンコーダに解析結果をガイダンスとして付加する。
テキストのガイダンスによって、視覚エンコーダは、人間が質問を考えるとき、画像の最も関連性の高い部分に集中する方法と同様に、テキスト関連の特徴を抽出することができる。
論文 参考訳（メタデータ） (2024-09-15T00:38:34Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。
制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
論文 参考訳（メタデータ） (2024-02-08T03:41:39Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-02-05T15:28:43Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳（メタデータ） (2023-11-03T00:17:08Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。