論文の概要: BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2608.07742v1
• Date: Fri, 07 Aug 2026 20:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.492235
• Title: BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
• Title（参考訳）: BRUCE: 科学的ビジョンランゲージ推論のための破壊エスカレーションによるロバストネスのベンチマーク
• Abstract要約: 我々は,科学的視覚言語推論の枠組みであるBRUCE(Benchmarking Robustness Under Corruption Escalation)を提案する。 BRUCEはロバストネス崩壊指数(RCI)とトラバーサル・RCI(T-RCI)という2つの新しい指標を使用して、マルチモーダルな推論性能の急速な低下を定量化している。 複数のデータセットに対する化学および数学的推論タスクにまたがるBRUCEの評価を行い, 汚損による予測失敗を解析した。
• 参考スコア（独自算出の注目度）: 2.717526933594264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual-language models (VLMs) frequently struggle with robustness issues in real-world situations due to low- or varying-quality input images. In this paper, we aim at analyzing VLMs' robustness by applying perturbations and distortions to the input images, such as blur or low contrast. Toward this goal, we propose BRUCE (Benchmarking Robustness Under Corruption Escalation, a multimodal reasoning fragility framework for scientific vision-language reasoning. State-of-the-art evaluation frameworks/studies primarily focus on clean-task accuracy and rarely analyze how reasoning stability degrades across robustness dimensions. Besides varying over a wide-range of input perturbations, BRUCE employs two novel metrics -- Robustness Corruption Index (RCI) and Traversal-RCI (T-RCI) -- to quantify how rapidly multimodal reasoning performance deteriorates in VLMs as visual corruption severity increases under progressive perturbation scaling. We evaluate BRUCE across chemistry and mathematical reasoning tasks for multiple datasets, while analyzing corruption-induced prediction failures in terms of four high-level reasoning domains: OCR-dependent reasoning, spatial reasoning, symbolic reasoning, and semantic failures, with each containing fine-grained corruption specific failure subtypes, thereby enabling an interpretable failure analysis.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、低品質または多彩な入力画像のために、現実の状況において堅牢性の問題にしばしば苦労する。 本稿では,ぼやけや低コントラストなどの入力画像に摂動や歪みを適用することで,VLMのロバスト性を分析することを目的とする。 そこで我々は,BRUCE (Benchmarking Robustness Under Corruption Escalation)を提案する。 最先端の評価フレームワーク/研究は主にクリーンタスクの正確さに重点を置いており、ソリケーションの安定性がロバストネスの次元でどのように低下するかをほとんど分析していない。 幅広い入力摂動の変化に加えて、BRUCEは2つの新しい指標であるロバストネス破壊指数 (RCI) とトラバーサル・RCI (T-RCI) を採用し、進行摂動スケーリングの下で視覚的破損の重症度が増大するにつれて、VLMのマルチモーダル推論性能が急速に低下するかを定量化している。 OCR依存推論,空間的推論,記号的推論,意味的障害の4つの高レベル推論領域を用いて,複数のデータセットに対する化学および数学的推論タスクのBRUCEを解析し,それぞれがきめ細かな汚損特定障害サブタイプを含んでいて,解釈可能な故障解析を可能にする。

関連論文リスト

• Evidence-Grounded Trustworthy Multimodal Reasoning and Evaluation Benchmark in Complex Urban Scenes [37.743333035442426]
  本稿では,AD2-Benchを導入し,推理を構造化されたエビデンス連鎖(CoE)に分解する。 この観点から、著者らは、空間的曖昧性と意味的不確実性という、推論失敗の2つの主要な原因を特定した。 次に、Evidence-grounded Visual Reasoning (EGVOR)を提案する。
  論文  参考訳（メタデータ） (2026-08-11T14:23:07Z)
• The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
  MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T02:27:04Z)
• METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
  コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。 既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。 私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
  論文  参考訳（メタデータ） (2026-04-13T14:07:11Z)
• Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding [54.05243949024302]
  既存の堅牢なMLLMは、視覚エンコーダの一般化にのみ焦点をあてた暗黙のトレーニング/適応に依存している。 本稿では,構造的推論連鎖による視覚的劣化を明示的にモデル化する新しいフレームワークであるRobust-R1を提案する。 提案手法は, (i) 劣化を考慮した推論基盤の微調整, (ii) 劣化パラメータを正確に知覚するための報酬駆動アライメント, (iii) 劣化強度に適応した動的推論深度スケーリングの2つを統合した。
  論文  参考訳（メタデータ） (2025-12-19T12:56:17Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models [49.92148175114169]
  制御された摂動を7次元にわたって導入することにより,系統的な脆弱性解析を行う。 モデルは、カメラの視点やロボットの初期状態を含む摂動要因に対して極端に敏感である。 驚くべきことに、モデルは言語の変化にほとんど敏感であり、さらなる実験により、モデルは言語命令を完全に無視する傾向があることが明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T14:51:36Z)
• Rethinking Evaluation of Infrared Small Target Detection [105.59753496831739]
  本稿では,画素レベルと目標レベルのパフォーマンスを取り入れたハイブリッドレベルのメトリクスを導入し,システム的エラー解析手法を提案し,クロスデータセット評価の重要性を強調した。 標準化されたベンチマークを容易にするオープンソースツールキットがリリースされた。
  論文  参考訳（メタデータ） (2025-09-21T02:45:07Z)
• Analysing the Robustness of Vision-Language-Models to Common Corruptions [2.9459935333120972]
  視覚言語モデル(VLM)は、視覚的およびテキスト的コンテンツに対する理解と推論の優れた能力を実証している。 我々は、ImageNet-Cベンチマークから、19種類の汚職タイプにまたがるVLMのロバスト性について、初めて包括的解析を行った。 シーンテキスト理解とオブジェクトベース推論にどのように影響するかを評価するために,2つの新しいベンチマークであるTextVQA-CとGQA-Cを導入する。
  論文  参考訳（メタデータ） (2025-04-18T13:46:32Z)
• Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
  本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。 本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。 その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-02T11:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。