論文の概要: MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records

• arxiv url: http://arxiv.org/abs/2610.27911v1
• Date: Tue, 20 Oct 2026 09:25:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.74111
• Title: MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
• Title（参考訳）: MMEnterprise-Bench: マルチモーダルレコードの進化よりもエンタープライズエージェントを評価する
• Abstract要約: シミュレーションコラボレーションプロジェクトからのマルチモーダルレコードの進化を基礎とした1,613の質問からなるベンチマークであるMMEnterprise-Benchを紹介する。 10のプロプライエタリかつオープンソースなマルチモーダルLCMを評価し, クロスソースや時間的競合を含むエビデンスにおいて, 最強のモデルでさえ苦戦していることを確認した。 これらの知見は、より信頼性の高いエンタープライズエージェントを開発するためのテストベッドとしてMMEnterprise-Benchを確立することによる、職場記録の進化に対する推論の永続的な課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 30.625917623795583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise agents answer questions over workplace records that evolve through team collaboration. As information is shared, corrected, and revised across documents, chats, and figures, multiple versions of the same information accumulate in the workspace. Reliable question answering therefore requires agents to reason over sufficient evidence, resolve cross-source and temporal conflicts, and recognize when the available evidence is insufficient to establish an answer. To systematically evaluate these capabilities, we introduce MMEnterprise-Bench, a benchmark comprising 1,613 questions grounded in evolving multimodal records from simulated collaboration projects, covering three categories: Evidence Reasoning, Conflict Resolution, and Unanswerability. We evaluate 10 proprietary and open-source multimodal LLMs and find that even the strongest models struggle when evidence contains cross-source or temporal conflicts or spans multiple images. Moreover, increasing the retrieval budget or employing a larger retriever improves evidence recall but does not consistently translate into higher answer accuracy. These findings highlight the persistent challenges of reasoning over evolving workplace records and establish MMEnterprise-Bench as a testbed for developing more reliable enterprise agents. Code and data are available at https://mlvlab.github.io/MMEnterprise-Bench/.
• Abstract（参考訳）: エンタープライズエージェントは、チームコラボレーションを通じて進化する職場記録に関する質問に答える。 情報が共有され、修正され、ドキュメント、チャット、フィギュアで修正されると、同じ情報の複数のバージョンがワークスペースに蓄積される。 そのため、信頼性の高い質問応答には、十分な証拠を判断し、情報源と時間的紛争を解決し、利用可能な証拠が不十分であるかどうかを認識して答えを確立することが必要である。 これらの機能を体系的に評価するために,シミュレーションコラボレーションプロジェクトからのマルチモーダルレコードの進化に基礎を置く1,613の質問からなるベンチマークMMEnterprise-Benchを紹介した。 我々は10のプロプライエタリでオープンソースのマルチモーダルLCMを評価し、複数の画像にまたがるクロスソースや時間的衝突を含むエビデンスにおいて、最強のモデルでさえ苦戦していることを発見した。 さらに、検索予算の増大や、より大きなレトリバーの採用により、証拠のリコールが向上するが、常に高い回答精度に変換されない。 これらの知見は、より信頼性の高いエンタープライズエージェントを開発するためのテストベッドとしてMMEnterprise-Benchを確立する上で、職場記録の進化に対する推論の永続的な課題を浮き彫りにしている。 コードとデータはhttps://mlvlab.github.io/MMEnterprise-Bench/で公開されている。

関連論文リスト

• Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues [41.90964421829607]
  我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。 10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-10-12T03:31:54Z)
• Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
  textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。 MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。 MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
  論文  参考訳（メタデータ） (2026-01-14T17:57:43Z)
• Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
  SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。 提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。 広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
  論文  参考訳（メタデータ） (2025-09-25T08:36:19Z)
• Benchmarking Multimodal Knowledge Conflict for Large Multimodal Models [23.37800506729006]
  本稿では,コンテキストメモリとコンテキスト間の両方のシナリオにおいて,現実的知識衝突を評価するベンチマークであるMMKC-Benchを提案する。 MMKC-Benchには1,573のナレッジインスタンスと,23種類の広範にわたる3,381のイメージが含まれている。 以上の結果から,現在のLMMは知識の衝突を認識する能力があるが,外的証拠よりも内的パラメトリック知識を好む傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-26T04:39:30Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• MAMM-Refine: A Recipe for Improving Faithfulness in Generation with Multi-Agent Collaboration [63.31211701741323]
  我々はマルチエージェント・マルチモデル推論を生成にまで拡張し、特に改良による忠実度の向上を図っている。 我々は,各サブタスクに対して固有の評価を設計し,マルチエージェント(複数インスタンス)とマルチモデル(多変数LPMタイプ)の両方がエラー検出やクオリティクスに有効であることを示す。 我々はこれらの知見を、マルチエージェント・マルチモデル・リファインメント(MAMM-Refinement)と呼ばれる最終的な"レシピ"に統合し、マルチエージェント・マルチモデルコラボレーションがパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-19T14:46:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。