論文の概要: Generative AI Toolkit -- a framework for increasing the quality of LLM-based applications over their whole life cycle

• arxiv url: http://arxiv.org/abs/2412.14215v1
• Date: Wed, 18 Dec 2024 10:40:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:36.750252
• Title: Generative AI Toolkit -- a framework for increasing the quality of LLM-based applications over their whole life cycle
• Title（参考訳）: Generative AI Toolkit - LLMベースのアプリケーションの品質をライフサイクル全体にわたって向上するためのフレームワーク
• Authors: Jens Kohl, Luisa Gloger, Rui Costa, Otto Kruse, Manuel P. Luitz, David Katz, Gonzalo Barbeito, Markus Schweier, Ryan French, Jonas Schroeder, Thomas Riedl, Raphael Perri, Youssef Mostafa,
• Abstract要約: 本稿では,LLMベースのアプリケーションのライフサイクル全体を自動化したGenerative AI Toolkitを紹介する。 このツールキットはエージェントのような生成AIアプリケーションの設定、テスト、監視、最適化に役立ち、リリースサイクルを短縮しながら品質を大幅に改善する。 ジェネレーティブAIツールキットが他のチームに役立つと確信しているので、オープンソースにして、他の人が利用し、前進し、適応し、改善することを望んでいます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: As LLM-based applications reach millions of customers, ensuring their scalability and continuous quality improvement is critical for success. However, the current workflows for developing, maintaining, and operating (DevOps) these applications are predominantly manual, slow, and based on trial-and-error. With this paper we introduce the Generative AI Toolkit, which automates essential workflows over the whole life cycle of LLM-based applications. The toolkit helps to configure, test, continuously monitor and optimize Generative AI applications such as agents, thus significantly improving quality while shortening release cycles. We showcase the effectiveness of our toolkit on representative use cases, share best practices, and outline future enhancements. Since we are convinced that our Generative AI Toolkit is helpful for other teams, we are open sourcing it on and hope that others will use, forward, adapt and improve
• Abstract（参考訳）: LLMベースのアプリケーションは数百万の顧客にリーチするので、そのスケーラビリティと継続的な品質改善が成功に不可欠です。 しかしながら、これらのアプリケーションを開発、保守、運用するための現在のワークフローは、主に手動で、遅く、試行錯誤に基づいています。 本稿では,LLMベースのアプリケーションのライフサイクル全体にわたって,基本的なワークフローを自動化するGenerative AI Toolkitを紹介する。 このツールキットは、エージェントのような生成AIアプリケーションの設定、テスト、継続的な監視、最適化に役立ち、リリースサイクルを短縮しながら、品質を大幅に改善する。 代表的なユースケースにおけるツールキットの有効性を示し、ベストプラクティスを共有し、今後の拡張の概要を説明します。 ジェネレーティブAIツールキットが他のチームに役立つと確信しているので、オープンソースにして、他の人が利用し、前進し、適応し、改善することを願っています。

関連論文リスト

• LLM Agents Making Agent Tools [2.5529148902034637]
  ツールの使用は、大規模言語モデル(LLM)を、複雑なマルチステップタスクを実行できる強力なエージェントに変えた。 論文をコードで自律的にLLM互換のツールに変換する新しいエージェントフレームワークであるToolMakerを提案する。 タスク記述とリポジトリURLが短いので、ToolMakerは必要な依存関係を自律的にインストールし、タスクを実行するコードを生成する。
  論文  参考訳（メタデータ） (2025-02-17T11:44:11Z)
• Learning Evolving Tools for Large Language Models [44.25796648300785]
  ツール学習により、大きな言語モデル(LLM)が外部ツールやAPIと対話できるようになる。 ToolEVOは、ツールの可変性に対するLLMの適応性と反射性を高めるために設計された、新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T07:14:45Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Practical Tool Usage for Continually Learning LLMs [28.62382804829694]
  大規模言語モデルは、言語ベースのタスクを解くために生まれつきのスキルを示す。 しかし、彼らの知識はパラメータの中に直接格納され、時間内には静的のままである。 ツールの使用は、LLMがインターフェイスを通してアクセス可能なシステムに作業をオフロードするのに役立つ。 しかし、それらを使用するLCMは、長期間使用するためには、まだ非定常環境に適応する必要がある。
  論文  参考訳（メタデータ） (2024-04-14T19:45:47Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)
• ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
  大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
  論文  参考訳（メタデータ） (2023-03-16T01:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。