論文の概要: DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines

• arxiv url: http://arxiv.org/abs/2312.13382v1
• Date: Wed, 20 Dec 2023 19:13:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 16:48:35.512442
• Title: DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
• Title（参考訳）: DSPy Assertions:自己精製言語モデルパイプラインの計算制約
• Authors: Arnav Singhvi, Manish Shetty, Shangyin Tan, Christopher Potts, Koushik Sen, Matei Zaharia, Omar Khattab
• Abstract要約: 組込み言語モデル(LM)は、新しい強力なプログラミングを促進する。 本稿では,LM が満たすべき計算制約を表現するための新しいプログラム構造である LM Assertions を紹介する。 我々は、DSPyが任意のLMアサーションでプログラムをより信頼性と精度の高いシステムにコンパイルできる新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 41.779902953557425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chaining language model (LM) calls as composable modules is fueling a new powerful way of programming. However, ensuring that LMs adhere to important constraints remains a key challenge, one often addressed with heuristic "prompt engineering". We introduce LM Assertions, a new programming construct for expressing computational constraints that LMs should satisfy. We integrate our constructs into the recent DSPy programming model for LMs, and present new strategies that allow DSPy to compile programs with arbitrary LM Assertions into systems that are more reliable and more accurate. In DSPy, LM Assertions can be integrated at compile time, via automatic prompt optimization, and/or at inference time, via automatic selfrefinement and backtracking. We report on two early case studies for complex question answering (QA), in which the LM program must iteratively retrieve information in multiple hops and synthesize a long-form answer with citations. We find that LM Assertions improve not only compliance with imposed rules and guidelines but also enhance downstream task performance, delivering intrinsic and extrinsic gains up to 35.7% and 13.3%, respectively. Our reference implementation of LM Assertions is integrated into DSPy at https://github.com/stanfordnlp/dspy
• Abstract（参考訳）: 組込み言語モデル(LM)は構成可能なモジュールと呼ばれ、新しい強力なプログラミング方法を生み出している。 しかし、LMが重要な制約に従うことを保証することは重要な課題であり、しばしばヒューリスティックな「プロンプトエンジニアリング」で対処される。 lmsが満たすべき計算制約を表現するための新しいプログラミング構成であるlmアサーションを紹介する。 我々は、最近のDSPyプログラミングモデルと統合し、DSPyが任意のLMアサーションでプログラムをより信頼性と精度の高いシステムにコンパイルできる新しい戦略を提案する。 dspyでは、lmアサーションはコンパイル時に、自動的なプロンプト最適化および/または推論時間を通じて、自動自己定義とバックトラッキングによって統合することができる。 本稿では,複合質問応答 (QA) の2つの早期事例について報告し,LMプログラムは複数のホップの情報を反復的に検索し,長文の回答を引用とともに合成しなければならない。 LMアサーションは、規定やガイドラインの遵守だけでなく、ダウンストリームタスクのパフォーマンスも向上し、それぞれ35.7%と13.3%の内在的なゲインを提供する。 LM Assertionsのリファレンス実装は、https://github.com/stanfordnlp/dspyでDSPyに統合されます。

関連論文リスト

• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• Small Language Model Can Self-correct [42.76612128849389]
  本稿では,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに内在的アンダーライン・アンダーライン・コレクション(ISC)を導入する。 我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。
  論文  参考訳（メタデータ） (2024-01-14T14:29:07Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines [44.772892598128784]
  DSPyは、LMパイプラインをテキスト変換グラフとして抽象化するプログラミングモデルである。 コンパイル後数分で数行のDSPyがGPT-3.5とllama2-13b-chatをセルフブートストラップパイプラインに接続できる。
  論文  参考訳（メタデータ） (2023-10-05T17:37:25Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP [77.817293104436]
  本稿では,LMとRMの間の洗練されたパイプラインにおいて,自然言語テキストを渡すことに依存するフレームワークを提案する。 我々は、オープンドメイン、マルチホップ、会話設定で質問に答えるための新しいDSPプログラムを作成した。
  論文  参考訳（メタデータ） (2022-12-28T18:52:44Z)
• Prompting as Probing: Using Language Models for Knowledge Base Construction [1.6050172226234583]
  我々は,2020年にOpenAIが提案した大規模言語モデルであるGPT-3を利用したProP(Prompting as Probing)を提案する。 ProPは、様々なプロンプト技術を組み合わせてこれを実現するマルチステップアプローチを実装している。 評価の結果,提案手法は最終的な予測精度を大幅に向上させることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-23T16:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。