論文の概要: FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

• arxiv url: http://arxiv.org/abs/2608.01664v1
• Date: Mon, 03 Aug 2026 03:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.322345
• Title: FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering
• Title（参考訳）: ImageCLEF 2026におけるロバスト候補スコーリングと簡潔な多言語ビジュアルアンサーのマルチモーダル推論タスクのFAU
• Abstract要約: ImageCLEF 2026 Multimodal Reasoning system for Visual Multiple Choice Question Answering and Visual Open Question Answering subtasks。 この課題は、高密度テキスト、図表、チャート、表、式、単位を含む多言語教育および科学画像に対する信頼性の高い推論を必要とする。
• 参考スコア（独自算出の注目度）: 3.151184728006369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our ImageCLEF 2026 Multimodal Reasoning system for the Visual Multiple Choice Question Answering (Visual MCQ) and Visual Open Question Answering (Visual OpenQA) subtasks. The challenge requires reliable reasoning over multilingual educational and scientific images with dense text, diagrams, charts, tables, formulas, and units, while enforcing strict answer formats. Our central finding is that robust output control is as important as model choice. For Visual MCQ, we replace fragile free-form generation with direct candidate label scoring from vision-language model logits, then combine complementary runs through score fusion and voting. For Visual OpenQA, we use image enhancement, concise final answer prompting, deterministic decoding, and targeted post-processing to remove reasoning traces and formatting artifacts. Without task-specific model training, our official submissions achieved third place in Visual MCQ with 0.7108 accuracy and first place in Visual OpenQA with 0.6488 COMET, 0.1391 BLEU, 0.2762 ROUGE L, and 0.2383 METEOR. The results highlight the practical value of inference engineering: careful scoring, ensembling, prompting, and cleanup can turn strong VLMs into reliable competition systems.
• Abstract（参考訳）: ImageCLEF 2026 Multimodal Reasoning system for the Visual Multiple Choice Question Answering (Visual MCQ) and Visual Open Question Answering (Visual OpenQA) subtasks。 この課題は、厳密な回答形式を強制しながら、多言語の教育的および科学的なイメージに対して、高密度なテキスト、図、チャート、表、公式、単位を含む信頼性の高い推論を必要とする。 私たちの中心的な発見は、ロバストな出力制御がモデル選択と同じくらい重要であるということです。 Visual MCQでは、フレキシブルなフリーフォーム生成を視覚言語モデルロジットから直接候補ラベルに置き換え、スコア融合と投票によって相補的な実行を組み合わせます。 Visual OpenQAでは、画像強調、簡潔な最終回答プロンプト、決定論的デコード、ターゲットとした後処理を使用して、推論トレースとフォーマットアーティファクトを削除します。 タスク固有のモデルトレーニングがなければ、Visual MCQでは0.7108精度で3位、Visual OpenQAでは0.6488 COMET、0.1391 BLEU、0.2762 ROUGE L、0.2383 METEORで1位を獲得しました。 その結果、推論工学の実践的価値が強調された: 慎重にスコア付け、アンサンブル、プロンプト、クリーンアップは、強力なVLMを信頼できる競争システムに変えることができる。

関連論文リスト

• When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.71264263478083]
  MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
  論文  参考訳（メタデータ） (2025-11-04T18:00:51Z)
• Analyze-Prompt-Reason: A Collaborative Agent-Based Framework for Multi-Image Vision-Language Reasoning [3.588567067449924]
  マルチイメージ推論のための協調エージェントベースフレームワークを提案する。 提案手法は,多様なデータセットやタスク形式にまたがるマルチモーダル推論のインターリーブ化という課題に対処する。 我々は2025年のMIRAGE Challengeから18種類の多様なデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2025-08-01T06:39:15Z)
• Spoken question answering for visual queries [14.834200714168546]
  本研究の目的は,音声と画像の両方を通じてユーザインタラクションを可能にするシステムを構築することである。 結果として得られるマルチモーダルモデルは、テキスト、ビジュアル、および音声入力を持ち、画像上の音声質問に答えることができる。
  論文  参考訳（メタデータ） (2025-05-29T10:06:48Z)
• ABC: Achieving Better Control of Multimodal Embeddings using VLMs [61.396457715710774]
  ビジュアル埋め込みモデルは、ビジュアル検索や分類のようなゼロショットタスクで優れている。 これらのモデルは曖昧さやユーザ命令を必要とするタスクには使用できない。 本稿では,視覚言語モデルバックボーンを用いたオープンソースのマルチモーダル埋め込みモデルABCを紹介する。
  論文  参考訳（メタデータ） (2025-03-01T03:29:02Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
  視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。 疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。 本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:54:11Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models [111.42052290293965]
  大規模言語モデル(LLM)は、新しい言語タスクに対して優れたゼロショット一般化を証明している。 視覚と言語データに対するエンドツーエンドのトレーニングは、切断を橋渡しするかもしれないが、柔軟性がなく、計算コストがかかる。 上述したモダリティとタスクの切断をブリッジできるプロンプトを提供するプラグイン・アンド・プレイモジュールであるemphImg2Promptを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:39:36Z)
• Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering [17.51860125438028]
  本稿では,画像と事前学習言語モデルの自動キャプションに基づく,単文のみの列車と推論手法を提案する。 外部知識 (OK-VQA) を必要とする視覚的質問応答タスクの結果, テキストのみのモデルは, パラメータ数に匹敵する事前学習されたマルチモーダル(画像-テキスト)モデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-09-15T14:11:29Z)
• Analysis on Image Set Visual Question Answering [0.3359875577705538]
  マルチイメージ環境での視覚質問応答の課題に対処する。 従来のVQAタスクは、単一のイメージからターゲットの回答が生成される単一イメージ設定に重点を置いている。 本報告では,タスクのパフォーマンス向上を目的とした4つのアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-03-31T20:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。