論文の概要: GRACE: Grounded Reasoning via Adapter Composition and Evidence-Aware Calibration for Educational Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.19355v1
- Date: Wed, 19 Aug 2026 18:20:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.379174
- Title: GRACE: Grounded Reasoning via Adapter Composition and Evidence-Aware Calibration for Educational Visual Question Answering
- Title（参考訳）: GRACE:学習視覚質問応答のための適応的構成とエビデンス・アウェア・キャリブレーションによる基礎的推論
- Abstract要約: 凍結型マルチモーダル大言語モデルのためのパラメータ効率適応フレームワークを開発し,評価する。
GRACE, Grounded Reasoning via Adapter composition and Evidence-Awareは,各質問の教育的状態を用いて,軽量言語と視覚適応を専門とするフレームワークである。
ScienceQAでは、GRACEは共有アダプタのベースラインを90.5%から93.1%に改善し、画像コンテキストの質問では88.7%から91.2%に改善した。
- 参考スコア（独自算出の注目度）: 8.110176811486518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Educational visual question answering, or VQA, requires models to solve curriculum-oriented multiple-choice questions using both language and visual evidence. Compared with conventional open-ended VQA, educational examples often include structured assessment metadata, diagrams or image contexts, and semantically close answer options, creating strong opportunities for question-option shortcuts. We develop and evaluate a parameter-efficient adaptation framework for a frozen multimodal large language model in this setting. We introduce GRACE, Grounded Reasoning via Adapter Composition and Evidence-Aware Calibration, a framework that uses the pedagogical state of each question to specialize lightweight language and vision adaptation. The state combines inference-visible subject, grouped skill, grade, visual-context, question-intent, and option-structure cues. GRACE uses factor-specific prompts and lightweight visual adapters, then applies evidence-aware option calibration to score all candidates under a shared multimodal context. On ScienceQA, GRACE improves a shared-adapter baseline from 90.5 percent to 93.1 percent overall accuracy and from 88.7 percent to 91.2 percent on image-context questions. Removing pedagogical composition, option calibration, or the visual adapter reduces overall accuracy by 1.4, 1.0, and 1.5 points, respectively. These controlled results show that structured educational state is an effective routing signal for parameter-efficient multimodal adaptation.
- Abstract（参考訳）: 教育的視覚的質問応答(VQA)は、言語と視覚的証拠の両方を用いてカリキュラム指向の多重選択質問を解決するモデルを必要とする。
従来のオープンエンドのVQAと比較して、教育例には構造化された評価メタデータ、図や画像のコンテキスト、セマンティックにクローズな回答オプションが含まれており、質問選択ショートカットの強い機会を生み出している。
本研究では,凍結型マルチモーダル大言語モデルに対するパラメータ効率適応フレームワークの開発と評価を行う。
本稿では, GRACE, Grounded Reasoning via Adapter composition and Evidence-Aware Calibrationを紹介した。
この状態は、推測可能な主題、グループ化されたスキル、グレード、視覚的コンテキスト、質問意図、オプション構造的手がかりを組み合わせたものである。
GRACEは因子特異的プロンプトと軽量なビジュアルアダプタを使用し、エビデンス対応オプションキャリブレーションを適用して、共有マルチモーダルコンテキスト下で全ての候補を評価する。
ScienceQAでは、GRACEは共有アダプタのベースラインを90.5%から93.1%に改善し、画像コンテキストの質問では88.7%から91.2%に改善した。
教育的構成の除去、オプションキャリブレーション、または視覚的アダプタは、それぞれ1.4点、1.0点、1.5点の精度を低下させる。
これらの制御された結果は、構造化された教育状態がパラメータ効率の高いマルチモーダル適応のための効果的なルーティング信号であることを示している。
関連論文リスト
- Seeing Through Words: Controlling Visual Retrieval Quality with Language Models [68.49490036960559]
本稿では,画像品質の明示的な概念を取り入れつつ,文脈的詳細で短いクエリを充実させる,品質制御可能な検索の新たなパラダイムを提案する。
我々のキーとなる考え方は、生成言語モデルをクエリ補完関数として活用し、未特定クエリを記述形式に拡張することです。
提案手法は,検索結果を大幅に改善し,最新のVLMの表現能力と,短いユーザクエリの未特定特性とのギャップを埋める,効果的な品質管理を提供する。
論文 参考訳（メタデータ） (2026-02-24T18:20:57Z) - Closing the Gap: Data-Centric Fine-Tuning of Vision Language Models for the Standardized Exam Questions [0.0]
高品質なデータによる教師付き微調整は、プロプライエタリなアプローチと競合する可能性があることを示す。
以上の結果から,データ合成と表現構文がマルチモーダル推論において決定的な役割を果たすことが明らかとなった。
論文 参考訳（メタデータ） (2025-11-14T14:28:14Z) - Q-Adapter: Visual Query Adapter for Extracting Textually-related Features in Video Captioning [5.762008844570409]
MLLM(Multimodal Large Language Models)の拡張を目的とした軽量ビジュアルアダプタモジュールを提案する。
Q-Adapterは、学習可能なクエリトークンとゲーティング層をVisionに導入し、外部の監視に頼ることなく、スパース、キャプション関連機能の効果的な抽出を可能にする。
MSR-VTT と MSVD の2つの有名なビデオキャプションデータセットに対して,Q-Adapter の評価を行った。
論文 参考訳（メタデータ） (2025-10-11T04:58:21Z) - HeGraphAdapter: Tuning Multi-Modal Vision-Language Models with Heterogeneous Graph Adapter [19.557300178619382]
本稿では,下流タスクに対するVLMのチューニングを実現するために,新しいヘテロジニアスグラフアダプタを提案する。
我々は、下流タスクの多モード構造知識を探索するために、特定の不均一グラフニューラルネットワークを用いる。
11のベンチマークデータセットの実験結果は、提案したHeGraphAdapterの有効性とメリットを示している。
論文 参考訳（メタデータ） (2024-10-10T12:20:58Z) - Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。
本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。
提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文 参考訳（メタデータ） (2024-08-29T12:34:01Z) - LaViP:Language-Grounded Visual Prompts [27.57227844809257]
下流タスクに視覚言語モデルの視覚エンコーダを適応させるための言語基底型視覚プロンプト手法を提案する。
言語統合に乗じて、視覚エンコーダの入力を調整するためのパラメータ効率の戦略を考案する。
我々のアルゴリズムはブラックボックスのシナリオでも動作可能であり、モデルのパラメータへのアクセスが制約された状況において適応性を示す。
論文 参考訳（メタデータ） (2023-12-18T05:50:10Z) - Language Guided Visual Question Answering: Elevate Your Multimodal
Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。
疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。
本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:54:11Z) - Visual Comparison of Language Model Adaptation [55.92129223662381]
アダプタは、モデル適応のための軽量な代替品です。
本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。
例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
論文 参考訳（メタデータ） (2022-08-17T09:25:28Z) - MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。
視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。
我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
論文 参考訳（メタデータ） (2022-01-25T22:30:54Z) - CLIP-Adapter: Better Vision-Language Models with Feature Adapters [84.88106370842883]
即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。
CLIP-Adapterは新たなボトルネックレイヤを採用して、新機能を学び、残留スタイルの機能ブレンディングを実行する。
様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2021-10-09T11:39:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。