論文の概要: FigAct: Turning Scientific Figures into Active Canvases for Explanation

• arxiv url: http://arxiv.org/abs/2609.36190v1
• Date: Mon, 28 Sep 2026 19:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.979548
• Title: FigAct: Turning Scientific Figures into Active Canvases for Explanation
• Title（参考訳）: FigAct: 科学的フィギュアを解説のためのアクティブなキャンバスに変える
• Abstract要約: FigActは静的な科学的図形を質問条件の視覚的表現に変換するフレームワークである。 人間のプレゼンターのように、FigActは短いナレーションのシーケンスを生成し、それぞれのナレーションを対応する視覚的エビデンスに接地し、視聴者の注意を導くために視覚的行動を適用する。
• 参考スコア（独自算出の注目度）: 14.513369927610563
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scientific figures are designed to communicate information visually, yet MLLMs typically explain them by translating their visual content back into text. This requires readers to manually map the resulting explanations back to the figure. Inspired by how people present visual information, we introduce FigAct, a framework that transforms static scientific figures into question-conditioned visual presentations by acting directly on their existing graphical elements. Like a human presenter, FigAct generates a sequence of short narrations, grounds each narration in the corresponding visual evidence, and applies visual actions to guide the viewer's attention. We develop a hierarchical search strategy for efficient element localization, reducing token usage by approximately 40$\times$. We further train FigAct-8B using three task-specific rewards for grounding accuracy, search efficiency, and rendering quality. We further build a human-verified benchmark from figures in real-world scientific papers to evaluate the ability of MLLMs to generate grounded visual explanations. Our results demonstrate the effectiveness of FigAct and show that treating scientific figures as presentation canvases makes explanations clearer and easier to follow.
• Abstract（参考訳）: 科学的な人物は視覚的に情報を伝えるように設計されているが、MLLMは通常、視覚的コンテンツをテキストに翻訳することでそれらを説明する。 これにより、読者は結果の説明を図に手動でマッピングする必要がある。 視覚的情報の提示方法に着想を得たFigActは,静的な科学的図形を既存のグラフィカル要素に直接作用させることで,質問条件の視覚的表現に変換するフレームワークである。 人間のプレゼンターのように、FigActは短いナレーションのシーケンスを生成し、それぞれのナレーションを対応する視覚的エビデンスに接地し、視聴者の注意を導くために視覚的行動を適用する。 我々は,効率的な元素位置決めのための階層的探索戦略を開発し,トークンの使用量を約40$\times$で削減する。 さらに、グラウンド化精度、探索効率、レンダリング品質の3つのタスク固有報酬を用いてFigAct-8Bを訓練する。 さらに、実世界の科学的論文の数値から人間検証されたベンチマークを構築し、MLLMが基盤となる視覚的説明を生成する能力を評価する。 本研究は,FigActの有効性を実証し,科学的図形を提示キャンバスとして扱うことにより,説明の明確化と追従が容易であることを示す。

関連論文リスト

• From Terminology to Diagrams: Visual-Instruction Generation for Scientific Diagram Understanding [0.0]
  視覚言語モデル(VLM)は,自然画像を用いた視覚的質問応答において高い性能を示した。 本稿では,学術カリキュラムから派生した用語を活用することで,大規模図表基底命令データを生成するフレームワークを提案する。 SciGramは、194K以上の図と1.4Mの視覚的指示のデータセットで、生命、地球、物理科学を横断する。
  論文  参考訳（メタデータ） (2026-09-01T09:07:31Z)
• ExpArt-KG: Artwork Image Description Generation through Iterative Exploration of Knowledge Graphs [51.31488026676001]
  検索強化生成(RAG)を用いた知識グラフからの事実情報を活用したフレームワークを提案する。 具体的には,回答生成と知識グラフ検索を交互に行い,正解判定を用いて探索を制御する。 本研究では, アートワークの詳細な説明のレベルを向上し, 外部知識の検索コストを低減できることを実験的に示す。
  論文  参考訳（メタデータ） (2026-09-01T03:08:14Z)
• Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
  大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。 視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。 広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
  論文  参考訳（メタデータ） (2025-09-29T17:59:57Z)
• Generative Visual Commonsense Answering and Explaining with Generative Scene Graph Constructing [46.701439459096235]
  我々はtextittextbfG2 という新しいビジュアルコモンセンス推論手法を提案する。 まず、画像パッチとLCMを使用して、位置のないシーングラフを構築し、シーングラフの情報に基づいて回答と説明を行う。 また、トレーニング中に貴重なシーングラフ情報を吸収するためのシーングラフの自動フィルタリングと選択戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:00:36Z)
• Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
  既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。 我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。 我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-12-15T16:13:25Z)
• Learning Action-Effect Dynamics from Pairs of Scene-graphs [50.72283841720014]
  本稿では,画像のシーングラフ表現を利用して,自然言語で記述された行動の効果を推論する手法を提案する。 提案手法は,既存のモデルと比較して,性能,データ効率,一般化能力の点で有効である。
  論文  参考訳（メタデータ） (2022-12-07T03:36:37Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Learning Visual Representations with Caption Annotations [19.24013129952071]
  本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。 実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
  論文  参考訳（メタデータ） (2020-08-04T08:04:16Z)
• Spatio-Temporal Graph for Video Captioning with Knowledge Distillation [50.034189314258356]
  空間と時間におけるオブジェクトの相互作用を利用したビデオキャプションのためのグラフモデルを提案する。 我々のモデルは解釈可能なリンクを構築し、明示的な視覚的グラウンドを提供することができる。 オブジェクト数の変動による相関を回避するため,オブジェクト認識型知識蒸留機構を提案する。
  論文  参考訳（メタデータ） (2020-03-31T03:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。