論文の概要: StreamBench: Towards Benchmarking Continuous Improvement of Language Agents

• arxiv url: http://arxiv.org/abs/2406.08747v2
• Date: Thu, 31 Oct 2024 03:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:00.943311
• Title: StreamBench: Towards Benchmarking Continuous Improvement of Language Agents
• Title（参考訳）: StreamBench: 言語エージェントの継続的改善のベンチマークを目指す
• Authors: Cheng-Kuang Wu, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、経験から自分自身を改善することができる。 本稿では,LLMエージェントの入力フィードバックシーケンスに対する継続的な改善を評価するためのベンチマークであるStreamBenchを紹介する。 我々の研究は、LLMの効果的なオンライン学習戦略開発への一歩として役立ち、ストリーミングシナリオにおけるより適応的なAIシステムへの道を開いた。
• 参考スコア（独自算出の注目度）: 63.54557575233165
• License:
• Abstract: Recent works have shown that large language model (LLM) agents are able to improve themselves from experience, which is an important ability for continuous enhancement post-deployment. However, existing benchmarks primarily evaluate their innate capabilities and do not assess their ability to improve over time. To address this gap, we introduce StreamBench, a pioneering benchmark designed to evaluate the continuous improvement of LLM agents over an input-feedback sequence. StreamBench simulates an online learning environment where LLMs receive a continuous flow of feedback stream and iteratively enhance their performance. In addition, we propose several simple yet effective baselines for improving LLMs on StreamBench, and provide a comprehensive analysis to identify critical components that contribute to successful streaming strategies. Our work serves as a stepping stone towards developing effective online learning strategies for LLMs, paving the way for more adaptive AI systems in streaming scenarios. Source code: https://github.com/stream-bench/stream-bench. Benchmark website: https://stream-bench.github.io.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)エージェントが経験から自分自身を改善できることが示されている。 しかし、既存のベンチマークは、その生来の能力を主に評価し、時間とともに改善する能力を評価しない。 このギャップに対処するために、入力フィードバックシーケンス上でのLCMエージェントの継続的な改善を評価するための先駆的なベンチマークであるStreamBenchを紹介する。 StreamBenchは、LLMが継続的なフィードバックストリームを受信し、そのパフォーマンスを反復的に向上するオンライン学習環境をシミュレートする。 さらに,StreamBench上のLCMを改善するためのシンプルかつ効果的なベースラインをいくつか提案し,ストリーミング戦略の成功に寄与する重要なコンポーネントを特定するための包括的分析を行った。 我々の研究は、LLMの効果的なオンライン学習戦略開発への一歩として役立ち、ストリーミングシナリオにおけるより適応的なAIシステムへの道を開いた。 ソースコードはhttps://github.com/stream-bench/stream-bench。 ベンチマークサイト: https://stream-bench.github.io

関連論文リスト

• SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video Understanding [56.78088668917983]
  SVBenchは時間的マルチターン質問応答チェーンを用いた先駆的ベンチマークである。 半自動アノテーションパイプラインを設計し、49,979対のQA(QA)と1,353本のストリーミングビデオを取得する。 対話とストリーミング評価の14モデルから得られた実験結果から, クローズドソースのGPT-4oは他より優れているが, 大部分のオープンソースLVLMは, 長文のストリーミングビデオ理解に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T14:29:44Z)
• Leveraging Metamemory Mechanisms for Enhanced Data-Free Code Generation in LLMs [44.80420740455364]
  M2WFは、大規模言語モデルのワンタイムコード生成を改善するためのフレームワークである。 従来の方法とは異なり、キュレートされたデータへの依存を最小限に抑え、さまざまなコーディングシナリオに適応する。 コードとフレームワークはGitHubとHuggingFaceで公開されている。
  論文  参考訳（メタデータ） (2025-01-14T07:16:43Z)
• OLA-VLM: Elevating Visual Perception in Multimodal LLMs with Auxiliary Embedding Distillation [95.78870389271832]
  現代のMLLMを開発するための標準的な慣行は、視覚エンコーダ(s)からLLMに特徴を供給し、自然言語を監督する訓練を行うことである。 目的とする視覚表現の集合からLLMの隠れ表現に知識を抽出する最初の手法であるOLA-VLMを提案する。 OLA-VLMは様々なベンチマークで平均マージンを2.5%向上させ,CV-BenchのDepthタスクでは8.7%向上した。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning [14.156753196673598]
  本稿では,大規模言語モデルの微調整のための高品質な推論トレースを作成するための新しい手法を提案する。 本手法では,コンポーネントLLMが協調的にソリューションを構築するために,インクリメンタルな出力生成フローを用いる。 オンラインダイレクトパラメータ最適化(DPO)学習を用いてフローをトレーニングし、トレーニング例毎にDPOペアを生成し、モデルをリアルタイムで更新する。
  論文  参考訳（メタデータ） (2024-10-29T17:50:31Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Is Your LLM Outdated? Evaluating LLMs at Temporal Generalization [37.58752947129519]
  LLM(Large Language Models)の急速な進歩は、評価方法論の進化に対する緊急の必要性を浮き彫りにしている。 しばしば静的な従来のベンチマークでは、絶えず変化する情報ランドスケープをキャプチャできない。 本研究では,過去,現在,未来に関連するテキストを理解し,予測し,生成する能力を含む時間的一般化について検討する。
  論文  参考訳（メタデータ） (2024-05-14T09:31:31Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。