論文の概要: MBA: Multimodal Benchmark and Agents for Real-World Business Ideation

• arxiv url: http://arxiv.org/abs/2608.11616v2
• Date: Thu, 13 Aug 2026 02:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.778689
• Title: MBA: Multimodal Benchmark and Agents for Real-World Business Ideation
• Title（参考訳）: MBA:マルチモーダルベンチマークと実世界のビジネスアイデアのためのエージェント
• Abstract要約: MBA-Benchは、ビジネスアイデアエージェントのトレーニングと評価のための最初のマルチモーダルベンチマークである。 GPT-4oを用いて,検索クエリ生成,マーケットエビデンス検索,エビデンス強化合成という3つのビジネス質問に対して,それぞれ5つの参照アイデアを生成する。 MBA-bとMBA-kをそれぞれ盲目と知人向けに提示し、創造性と実現可能性という2つの新しい報奨目標を訓練する一方、MBA-kは全8項目について、さらに6つの基準を最適化する。
• 参考スコア（独自算出の注目度）: 36.20757583437748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic systems powered by large language models (LLMs) have opened new opportunities for business ideation. Yet existing approaches remain confined to a text-only paradigm, despite the inherently multimodal nature of real-world contexts. We thus introduce MBA-Bench, the first multimodal benchmark for training and evaluating business ideation agents, comprising 30K samples across six domains, each domain characterized by distinct visual cues not fully conveyed by text alone. Concretely, we automatically caption images and employ GPT-4o to generate five reference ideas for each of three business questions through retrieval query generation, market evidence retrieval, and evidence-augmented synthesis. Following prior work, we evaluate agents across six business-oriented criteria using MLLM-as-a-Judge. To consider settings where criteria are hidden or disclosed, we present MBA-b and MBA-k for blind and known, respectively. We train both with two novel reward objectives---creativity and feasibility---while MBA-k further optimizes the six disclosed criteria for eight in total. Both are trained via LoRA-based supervised fine-tuning followed by group relative policy optimization with these setting-specific rewards. For extensive experiments on MBA-Bench, we set up two baselines accommodating either captions only or multimodal inputs, with the latter nearing closed-source performance on several metrics. MBA-b and MBA-k outperform caption baselines by 63.9% and 77.1%, and multimodal baselines by 25.6% and 35.8%, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したエージェントシステムは、新たなビジネスアイデアの機会を開いた。 しかし、既存のアプローチは、現実の文脈の本質的にマルチモーダルな性質にもかかわらず、テキストのみのパラダイムに限られている。 MBA-Benchは、6つのドメインに30Kのサンプルを配置し、テキストだけでは伝えられない視覚的手がかりを特徴付ける。 具体的には,検索クエリ生成,マーケットエビデンス検索,エビデンス強化合成によって,画像を自動的にキャプションし,GPT-4oを用いて3つのビジネス質問に対して5つの参照アイデアを生成する。 MLLM-as-a-Judge を用いた6つのビジネス指向基準のエージェントの評価を行った。 MBA-b と MBA-k をそれぞれ視覚障害者に提示する。 MBA-kは、創造性と実現可能性という2つの新しい報奨目標を同時に訓練する一方、MBA-kは、合計8つの条件について、さらに6つの条件を最適化する。 どちらもLoRAベースの教師付き微調整によってトレーニングされ、その後、これらの設定固有の報酬とグループ相対的なポリシー最適化が行われる。 MBA-Benchに関する広範な実験のために、複数の指標に対してクローズソース性能を近付けながら、キャプションのみまたはマルチモーダル入力を調節する2つのベースラインを設定した。 MBA-bとMBA-kはキャプションベースラインを63.9%、77.1%、マルチモーダルベースラインを25.6%、35.8%で上回っている。

関連論文リスト

• Modality Maturity Index: A benchmark for assessing multimodal capabilities of omni models [5.886031439164172]
  本稿では,MMI(Modality Maturity Index)を提案する。 MMIは853の質問から成り、それぞれが複数の入力モダリティの理解を示すためにモデルを必要とするように慎重に設計されている。
  論文  参考訳（メタデータ） (2026-08-26T18:48:52Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• MiroMind-M1: An Open-Source Advancement in Mathematical Reasoning via Context-Aware Multi-Stage Policy Optimization [74.04867639197445]
  MiroMind-M1 は Qwen-2.5 ベースのベンチマーク上に構築された完全なオープンソース RLM のセットである。 我々のモデルは2つの段階で訓練されている: SFT on a carefully curated corpus of 719K math-reasoning problem with confirmed CoT trajectories, then RLVR on 62K challenge and verible problem。
  論文  参考訳（メタデータ） (2025-07-19T16:21:23Z)
• Judge Anything: MLLM as a Judge Across Any Modality [43.51517213949702]
  本稿では,タスクAnything と JudgeAnything という2つのベンチマークを導入し,MLLM の全体性能と判断能力を評価する。 TaskAnythingは15のあらゆるモダリティカテゴリでMMUとMMGの機能を評価し、よく確立されたベンチマークから1500のクエリをキュレートする。 judgeAnythingは、ペア比較とスコア評価の観点から、5段階(GPT-4oやGemini-2.0-Flashなど)の判定能力を評価する。 我々の研究は、より公平な評価プロトコルの必要性と、人間の嗜好との整合性を強調している。
  論文  参考訳（メタデータ） (2025-03-21T18:59:20Z)
• MRAMG-Bench: A Comprehensive Benchmark for Advancing Multimodal Retrieval-Augmented Multimodal Generation [19.745059794932807]
  本稿では,MRAMG(Multimodal Retrieval-Augmented Multimodal Generation)タスクを紹介する。 我々は,コーパス内のマルチモーダルデータを完全に活用して,テキストと画像を組み合わせたマルチモーダルな回答を生成することを目指している。 厳密な評価を容易にするため、MRAMG-Benchは統計およびLLMベースのメトリクスの総合的なスイートを組み込んでいる。
  論文  参考訳（メタデータ） (2025-02-06T16:07:24Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
  大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。 視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。 本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。