論文の概要: ChainBuddy: An AI Agent System for Generating LLM Pipelines

• arxiv url: http://arxiv.org/abs/2409.13588v1
• Date: Fri, 20 Sep 2024 15:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 06:30:58.036507
• Title: ChainBuddy: An AI Agent System for Generating LLM Pipelines
• Title（参考訳）: ChainBuddy: LLMパイプラインを生成するAIエージェントシステム
• Authors: Jingyue Zhang, Ian Arawjo,
• Abstract要約: ChainBuddyは、ChainForgeプラットフォームに組み込まれた評価パイプラインを生成するためのAIアシスタントである。 本稿では,ChainBuddyをベースラインインタフェースと比較した内的ユーザスタディを報告する。 AIアシスタントを使用する場合、参加者は要求の少ない作業負荷を報告した。
• 参考スコア（独自算出の注目度）: 2.7624021966289605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) advance, their potential applications have grown significantly. However, it remains difficult to evaluate LLM behavior on user-specific tasks and craft effective pipelines to do so. Many users struggle with where to start, often referred to as the "blank page" problem. ChainBuddy, an AI assistant for generating evaluative LLM pipelines built into the ChainForge platform, aims to tackle this issue. ChainBuddy offers a straightforward and user-friendly way to plan and evaluate LLM behavior, making the process less daunting and more accessible across a wide range of possible tasks and use cases. We report a within-subjects user study comparing ChainBuddy to the baseline interface. We find that when using AI assistance, participants reported a less demanding workload and felt more confident setting up evaluation pipelines of LLM behavior. We derive insights for the future of interfaces that assist users in the open-ended evaluation of AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進歩するにつれて、その潜在的なアプリケーションは大幅に成長した。 しかし、ユーザ固有のタスクにおけるLCMの挙動を評価し、効果的にパイプラインを構築することは依然として困難である。 多くのユーザーはどこから始めるかに苦慮しており、しばしば「ブランクページ」問題と呼ばれる。 ChainBuddyは、ChainForgeプラットフォームに組み込まれた評価LLMパイプラインを生成するためのAIアシスタントである。 ChainBuddyは、LCMの振る舞いを計画し、評価するための単純でユーザフレンドリな方法を提供する。 本稿では,ChainBuddyをベースラインインタフェースと比較した内的ユーザスタディを報告する。 AIアシストを使用する場合、参加者は要求の少ない作業負荷を報告し、LCM動作の評価パイプラインのセットアップをより確実に感じた。 我々は,AIのオープンエンド評価において,ユーザを支援するインターフェースの将来に対する洞察を導き出す。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
  クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。 我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T03:59:53Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Automated test generation to evaluate tool-augmented LLMs as conversational AI agents [0.27309692684728615]
  対話型AIエージェントを評価するテスト生成パイプラインを提案する。 当社のフレームワークでは,ユーザ定義の手順に基づく多種多様なテストを生成するためにLLMを使用している。 ツール拡張LDMは単一のインタラクションでよく機能するが、完全な会話を扱うのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-09-24T09:57:43Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• FlowMind: Automatic Workflow Generation with LLMs [12.848562107014093]
  本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。 信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。 また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
  論文  参考訳（メタデータ） (2024-03-17T00:36:37Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)
• AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts [12.73129785710807]
  ステップの出力が次のステップの入力となり、ステップごとの利得が集約される。 20人のユーザスタディにおいて、チェインはタスクの結果の質を向上するだけでなく、システムの透明性、制御可能性、コラボレーションの感覚を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-10-04T19:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。