論文の概要: DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

• arxiv url: http://arxiv.org/abs/2310.03714v1
• Date: Thu, 5 Oct 2023 17:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 13:15:45.902655
• Title: DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
• Title（参考訳）: DSPy:宣言型言語モデルコールを自己改善パイプラインにコンパイルする
• Authors: Omar Khattab, Arnav Singhvi, Paridhi Maheshwari, Zhiyuan Zhang, Keshav Santhanam, Sri Vardhamanan, Saiful Haq, Ashutosh Sharma, Thomas T. Joshi, Hanna Moazam, Heather Miller, Matei Zaharia, Christopher Potts
• Abstract要約: DSPyは、LMパイプラインをテキスト変換グラフとして抽象化するプログラミングモデルである。 コンパイル後数分で数行のDSPyがGPT-3.5とllama2-13b-chatをセルフブートストラップパイプラインに接続できる。
• 参考スコア（独自算出の注目度）: 44.772892598128784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ML community is rapidly exploring techniques for prompting language models (LMs) and for stacking them into pipelines that solve complex tasks. Unfortunately, existing LM pipelines are typically implemented using hard-coded "prompt templates", i.e. lengthy strings discovered via trial and error. Toward a more systematic approach for developing and optimizing LM pipelines, we introduce DSPy, a programming model that abstracts LM pipelines as text transformation graphs, i.e. imperative computational graphs where LMs are invoked through declarative modules. DSPy modules are parameterized, meaning they can learn (by creating and collecting demonstrations) how to apply compositions of prompting, finetuning, augmentation, and reasoning techniques. We design a compiler that will optimize any DSPy pipeline to maximize a given metric. We conduct two case studies, showing that succinct DSPy programs can express and optimize sophisticated LM pipelines that reason about math word problems, tackle multi-hop retrieval, answer complex questions, and control agent loops. Within minutes of compiling, a few lines of DSPy allow GPT-3.5 and llama2-13b-chat to self-bootstrap pipelines that outperform standard few-shot prompting (generally by over 25% and 65%, respectively) and pipelines with expert-created demonstrations (by up to 5-46% and 16-40%, respectively). On top of that, DSPy programs compiled to open and relatively small LMs like 770M-parameter T5 and llama2-13b-chat are competitive with approaches that rely on expert-written prompt chains for proprietary GPT-3.5. DSPy is available at https://github.com/stanfordnlp/dspy
• Abstract（参考訳）: MLコミュニティは、言語モデル(LM)を推進し、それらを複雑なタスクを解決するパイプラインに積み上げるテクニックを急速に探求している。 残念ながら、既存のLMパイプラインは通常、ハードコードされた「プロンプトテンプレート」を使って実装されている。 lmパイプラインの開発と最適化のためのより体系的なアプローチとして,lmパイプラインをテキスト変換グラフとして抽象化するプログラミングモデルdspyを紹介する。 DSPyモジュールはパラメータ化され、即興性、微調整性、拡張性、推論技術の適用方法を学ぶことができる(デモの作成と収集)。 我々は、任意のDSPyパイプラインを最適化して、与えられたメトリックを最大化するコンパイラを設計する。 2つのケーススタディを実施し,簡潔なdspyプログラムが,数学用語問題に対する推論やマルチホップ検索,複雑な質問への回答,エージェントループの制御といった高度なlmパイプラインの表現と最適化が可能であることを示した。 コンパイル後数分で、数行のDSPyでGPT-3.5とllama2-13b-chatをセルフブートストラップパイプラインで使用でき、標準のショットプロンプト(それぞれ25%以上と65%以上)と専門家が作成したデモ(それぞれ5-46%と16-40%)のパイプラインより優れている。 さらに、770MパラメータT5やllama2-13b-chatのようなオープンかつ比較的小さなLMにコンパイルされたDSPyプログラムは、プロプライエタリなGPT-3.5のために専門家によるプロンプトチェーンに依存するアプローチと競合する。 DSPyはhttps://github.com/stanfordnlp/dspyで入手できる。

関連論文リスト

• Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together [21.797319884895025]
  我々は,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流タスクメトリックを最大化するための戦略を模索する。 そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:30:31Z)
• Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs [40.159064885288245]
  言語モデルプログラムの即時最適化について検討する。 この問題を各モジュールのフリーフォーム命令と数発のデモの最適化に分解する。 我々は,LMプログラムを最適化する新しいアルゴリズムであるMIPROを開発した。
  論文  参考訳（メタデータ） (2024-06-17T16:12:03Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines [41.779902953557425]
  組込み言語モデル(LM)は構成可能なモジュールと呼ばれ、新しいプログラミング方法の原動力となっている。 本稿では,LM が満たすべき計算制約を表現する構造である LM Assertions を紹介する。 我々は、DSPyがLM Assertionsでプログラムをより信頼性が高く正確なシステムにコンパイルできる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-20T19:13:26Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP [77.817293104436]
  本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。 我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
  論文  参考訳（メタデータ） (2022-12-28T18:52:44Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。