論文の概要: CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
- arxiv url: http://arxiv.org/abs/2607.25294v1
- Date: Tue, 28 Jul 2026 05:06:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.71623
- Title: CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition
- Title（参考訳）: CLBench-V:グラウンディングから知識獲得へのマルチモーダルコンテキスト学習の評価
- Abstract要約: マルチモーダルコンテキスト学習のためのベンチマークであるCLBench-Vを紹介する。
CLBench-Vはコンテキストグラウンド、新しい情報アプリケーション、新しい知識学習という3つの次元のタスクを編成する。
3,443のインスタンスと6つの最近のマルチモーダルモデルで、最高スコアは0.2847である。
- 参考スコア（独自算出の注目度）: 12.300125680559338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world tasks often require models to learn from task-specific context rather than relying only on pre-trained knowledge. While recent work has highlighted this capability as context learning, existing evaluations mainly focus on textual contexts. In many practical settings, however, the context to be learned from is multimodal: scientific findings are conveyed through figures and tables, financial indicators are scattered across converted reports, and spatial decisions depend on maps, scenes, or web pages. We introduce CLBench-V, a benchmark for multimodal context learning that addresses the difficulty of localizing where context use breaks down by organizing tasks around three dimensions: context grounding, new information application, and new knowledge learning. CLBench-V combines converted public benchmarks with newly constructed datasets spanning domains such as science, finance, long-document understanding, spatial reasoning, and web-based visual question answering. To reduce the cost of constructing domain-specific context-learning tasks, we further use automated construction and filtering procedures for our newly built datasets. Across 3,443 instances and six recent multimodal models, the best overall score is only 0.2847, indicating that multimodal context learning remains far from saturated. Moreover, InternVL3.5-30B-A3B performs best on context grounding and new knowledge learning, while Qwen3.5-Plus performs best on new information application. We further analyze judge reliability, context length, image count, and representative failure cases. Code is available at https://github.com/IamLihua/CLBench-V.
- Abstract（参考訳）: 実世界のタスクは、事前訓練された知識にのみ依存するのではなく、タスク固有のコンテキストから学習するモデルを必要とすることが多い。
最近の研究は、この能力を文脈学習として強調しているが、既存の評価は主にテキストの文脈に焦点を当てている。
科学的発見は数字や表を通して伝達され、財務指標は変換されたレポートに散らばり、空間的決定は地図、シーン、またはWebページに依存する。
CLBench-Vは、コンテキストグラウンド、新しい情報アプリケーション、新しい知識学習という3次元のタスクを整理することで、コンテキスト使用が壊れる場所をローカライズすることの難しさに対処するマルチモーダルコンテキスト学習のベンチマークである。
CLBench-Vは、変換された公開ベンチマークと、科学、金融、長期文書理解、空間推論、Webベースの視覚的質問応答といった領域にまたがる、新たに構築されたデータセットを組み合わせる。
ドメイン固有のコンテキスト学習タスクを構築するコストを低減するため、新たに構築したデータセットの自動構築とフィルタリングの手順をさらに活用する。
3,443件のインスタンスと6つの最近のマルチモーダルモデルにおいて、最高のスコアは0.2847点であり、マルチモーダルコンテキスト学習がまだ飽和していないことを示している。
さらに、InternVL3.5-30B-A3Bは文脈基底と新しい知識学習に、Qwen3.5-Plusは新たな情報アプリケーションに最善を尽くす。
さらに, 判定信頼性, 文脈長, 画像数, 代表的な故障事例を分析した。
コードはhttps://github.com/IamLihua/CLBench-Vで入手できる。
関連論文リスト
- Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。
また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
論文 参考訳（メタデータ） (2026-09-02T13:19:51Z) - Context Training with Active Information Seeking [23.67605567495757]
私たちは、アクティブな情報検索のために、Wikipediaの検索とブラウザツールを使ってコンテキストを調整します。
提案手法は,複数の候補コンテキストの維持と具体化を行う検索ベーストレーニング手法と組み合わせることで,一貫した,実質的な成果が得られることを示す。
論文 参考訳（メタデータ） (2026-05-13T06:15:32Z) - MMCL-Bench: Multimodal Context Learning from Visual Rules, Procedures, and Evidence [66.12781312894647]
MMCL-Bench(MMCL-Bench)は、視覚的・混合モダリティ教育の文脈からタスクローカルルール、手順、経験的パターンを学ぶためのベンチマークである。
この設定では、学習コンテキストを推論する前に、画像、スクリーンショット、マニュアル、ビデオ、フレームシーケンスから関連するエビデンスを復元し、ローカライズする必要がある。
厳密なスコアリングによるフロンティアマルチモーダルモデルを評価した結果、現在のシステムは堅牢なマルチモーダルコンテキスト学習には程遠いことが判明した。
論文 参考訳（メタデータ） (2026-05-12T19:57:37Z) - CL-bench: A Benchmark for Context Learning [152.2879060355882]
この能力は人間が自然に持っているが、ほとんど見過ごされている重要な能力である。
我々は,500のコンテキスト,1,899のタスク,31,607の検証からなる実世界のベンチマークであるCL-benchを紹介する。
CL-benchは、この基本的な能力でLMを構築するためのステップであり、よりインテリジェントで、現実のシナリオでのデプロイメントを前進させる。
論文 参考訳（メタデータ） (2026-02-03T14:37:47Z) - MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。
オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。
我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
論文 参考訳（メタデータ） (2024-10-16T07:52:57Z) - BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。
BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。
BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2024-10-01T15:11:24Z) - NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。
モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。
実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
論文 参考訳（メタデータ） (2024-07-16T17:59:06Z) - M3: A Multi-Task Mixed-Objective Learning Framework for Open-Domain Multi-Hop Dense Sentence Retrieval [12.277521531556852]
M3は,高密度テキスト表現学習のためのマルチタスク混合オブジェクトに基づく,新しいマルチホップ高密度文検索システムである。
提案手法は,大規模オープンドメイン事実検証ベンチマークデータセットであるFEVER上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-21T01:52:07Z) - Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳（メタデータ） (2024-01-16T08:44:29Z) - Few-shot Multimodal Multitask Multilingual Learning [0.0]
我々は、事前学習された視覚と言語モデルを適用することで、マルチモーダルマルチタスク(FM3)設定のための数ショット学習を提案する。
FM3は、ビジョンと言語領域における最も顕著なタスクと、それらの交差点を学習する。
論文 参考訳（メタデータ） (2023-02-19T03:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。