論文の概要: Towards a Realistic Long-Term Benchmark for Open-Web Research Agents

• arxiv url: http://arxiv.org/abs/2409.14913v1
• Date: Wed, 25 Sep 2024 08:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 15:26:12.910860
• Title: Towards a Realistic Long-Term Benchmark for Open-Web Research Agents
• Title（参考訳）: オープンWeb研究エージェントのリアルタイム長期ベンチマークに向けて
• Authors: Peter Mühlbacher, Nikos I. Bosse, Lawrence Phillips,
• Abstract要約: 我々は,金融・コンサルティングにおいて日常的に行われる8つの現実的・乱雑なタスクを評価する。 これは既存のベンチマークのギャップを、実際の人間による経済的価値の業務を構成していない'ピザを次のアドレスに注文する'といったタスクで埋める。
• 参考スコア（独自算出の注目度）: 0.21847754147782888
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present initial results of a forthcoming benchmark for evaluating LLM agents on white-collar tasks of economic value. We evaluate eight realistic and ``messy'' tasks that are routine in finance and consulting, drawn from real-world cases from our customers. We lay the groundwork for an LLM agent evaluation suite where good performance directly corresponds to a large economic and societal impact. This fills a gap in existing benchmarks with tasks like ``order a pizza to the following address'' that do not constitute real-human work of economic value. Our evaluations assign credit to agents for partially solving tasks. By doing that, this initial evaluation, and the forthcoming benchmark, allow us to more accurately extrapolate performance of LLM-based agents on economically valuable tasks. We built and tested several architectures with GPT-4o, Claude-3.5 Sonnet, Llama 3.1 (405b), and GPT-4o-mini, ensuring that failure to solve a task was due to failures of reasoning and planning, rather than due to common failures like e.g. the inability to parse a website. On average, LLM agents powered by Claude-3.5 Sonnet substantially outperformed agents using GPT-4o, with agents based on Llama 3.1 (405b) and GPT-4o-mini lagging noticeably behind. Across LLMs, a ReAct architecture with the ability to delegate subtasks to subagents performed best. In addition to quantitative evaluations, we qualitatively assessed the performance of the LLM agents by inspecting their traces and reflecting on their observations.
• Abstract（参考訳）: 経済価値の白カラータスクに対するLCMエージェント評価のためのベンチマークを近く実施する。 顧客から現実のケースから引き出された金融やコンサルティングにおいて日常的に行われる8つの現実的かつ「テーマ」なタスクを評価します。 我々は,LLMエージェント評価スイートの基礎を置き,優れた性能が経済的・社会的影響に直接対応するようにした。 これにより、既存のベンチマークのギャップを‘次のアドレスにピザを注文’するようなタスクで埋めることができます。 我々の評価は、部分的に解決するタスクに対して、エージェントにクレジットを割り当てる。 これにより、この初期評価と今後のベンチマークにより、経済的に価値のあるタスクにおいて、LLMベースのエージェントのパフォーマンスをより正確に推定することができる。 我々は、GPT-4o、Claude-3.5 Sonnet、Llama 3.1 (405b)、GPT-4o-miniでいくつかのアーキテクチャを構築し、テストした。 平均して、Claude-3.5 Sonnetを動力とするLLM剤は、Llama 3.1 (405b) と GPT-4o-mini をベースとした GPT-4o 剤で大幅に性能が向上した。 LLM全体では、サブタスクをサブエージェントに委譲する機能を備えたReActアーキテクチャが最もよく機能した。 定量的評価に加えて, LLM エージェントの性能を定量的に評価し, その痕跡を検査し, 観察結果に反映した。

関連論文リスト

• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
  ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。 リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。 次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T21:42:35Z)
• Can LLMs replace Neil deGrasse Tyson? Evaluating the Reliability of LLMs as Science Communicators [22.567933207841968]
  大規模言語モデル(LLM)とAIアシスタントは、専門家とアマチュアユーザーの両方で、指数関数的な利用増加を経験している。 本研究では,現在のLLMの信頼性を科学コミュニケータとして評価することに焦点を当てる。 複雑な科学概念に埋め込まれた742 Yes/No クエリからなる新しいデータセット SCiPS-QA を導入する。
  論文  参考訳（メタデータ） (2024-09-21T06:48:32Z)
• DEBATE: Devil's Advocate-Based Assessment and Text Evaluation [6.2689399557794525]
  マルチエージェントスコアリングシステムに基づくNLG評価フレームワークであるDEBATEを提案する。 フレームワーク内では、あるエージェントが他のエージェントの議論を批判するように指示される。 エージェント間の議論の広範囲性とエージェントのペルソナが評価者のパフォーマンスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-16T09:41:12Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
  大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。 本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。