論文の概要: EcoAssistant: Using LLM Assistant More Affordably and Accurately

• arxiv url: http://arxiv.org/abs/2310.03046v1
• Date: Tue, 3 Oct 2023 22:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 21:02:59.118786
• Title: EcoAssistant: Using LLM Assistant More Affordably and Accurately
• Title（参考訳）: eco assistant: llmアシスタントをもっと手頃で正確に使う
• Authors: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang
• Abstract要約: EcoAssistantというフレームワークをコントリビュートすることで,大規模言語モデルによるコード駆動クエリの応答を,より安価かつ正確に行えるようにします。 まず、LLMアシスタントが自動コード実行器と会話することで、コードを反復的に洗練したり、実行結果に基づいて回答を生成できる。 第二に、LLMアシスタントの階層を使い、より弱く安価なLCMでクエリに答えようとする。
• 参考スコア（独自算出の注目度）: 36.29735258966917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today, users ask Large language models (LLMs) as assistants to answer queries that require external knowledge; they ask about the weather in a specific city, about stock prices, and even about where specific locations are within their neighborhood. These queries require the LLM to produce code that invokes external APIs to answer the user's question, yet LLMs rarely produce correct code on the first try, requiring iterative code refinement upon execution results. In addition, using LLM assistants to support high query volumes can be expensive. In this work, we contribute a framework, EcoAssistant, that enables LLMs to answer code-driven queries more affordably and accurately. EcoAssistant contains three components. First, it allows the LLM assistants to converse with an automatic code executor to iteratively refine code or to produce answers based on the execution results. Second, we use a hierarchy of LLM assistants, which attempts to answer the query with weaker, cheaper LLMs before backing off to stronger, expensive ones. Third, we retrieve solutions from past successful queries as in-context demonstrations to help subsequent queries. Empirically, we show that EcoAssistant offers distinct advantages for affordability and accuracy, surpassing GPT-4 by 10 points of success rate with less than 50% of GPT-4's cost.
• Abstract（参考訳）: 今日では、ユーザーは、外部の知識を必要とするクエリに答えるアシスタントとしてLarge Language Model (LLM) を尋ね、特定の都市の天気、株価、さらには近隣の特定の場所についても尋ねる。 これらのクエリは、ユーザーの質問に答えるために外部APIを呼び出すコードを生成する必要があるが、LCMは最初の試行で正しいコードを生成することはめったにない。 さらに、高いクエリボリュームをサポートするためにllmアシスタントを使用することは高価である。 本研究では,LLMがコード駆動クエリに対して,より安価かつ正確に応答できるフレームワークであるEcoAssistantを提案する。 EcoAssistantには3つのコンポーネントが含まれている。 まず、LLMアシスタントが自動コード実行器と会話することで、コードを反復的に洗練したり、実行結果に基づいて回答を生成できる。 次に、より強力で高価なものにバックアップする前に、より弱い、より安価なllmでクエリに答えようとする、llmアシスタントの階層を使用する。 第三に、過去の成功したクエリからのソリューションをコンテキスト内デモとして取り出して、その後のクエリを支援する。 実験により,EcoAssistantは,GPT-4のコストの50%以下で,GPT-4を10ポイント超え,手頃な価格と精度に明確な優位性があることが判明した。

関連論文リスト

• Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
  大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
  論文  参考訳（メタデータ） (2024-10-30T17:02:54Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization [7.674972936853123]
  我々は,同一の入力コンテキストに対するクエリを1つのプロンプトで組み合わせて,繰り返し呼び出しを最小限に抑える方法が,要約の達成に有効かどうかを検討する。 予測フォーマットでの応答生成における100%の信頼性は、通常、特定のクローズドソース LLM に制限される。
  論文  参考訳（メタデータ） (2024-02-29T19:00:47Z)
• Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
  大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
  論文  参考訳（メタデータ） (2024-02-12T19:49:58Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance [36.94826820536239]
  一般的な大言語モデル(LLM)のクエリに関するコストについてレビューする。 LLMの使用に伴う推論コストを削減するために,ユーザが活用できる3つの戦略について論じる。 実験の結果,FrugalGPTは最大98%のコスト削減や,同じコストでGPT-4の精度を4%向上できることがわかった。
  論文  参考訳（メタデータ） (2023-05-09T05:11:02Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。