論文の概要: Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

• arxiv url: http://arxiv.org/abs/2606.12576v1
• Date: Wed, 10 Jun 2026 18:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.401484
• Title: Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures
• Title（参考訳）: 図形が物語を語るのを助ける! 複雑な図形を解説した紙巻ビデオ生成
• Authors: Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber,
• Abstract要約: 本稿では,人物とその論文からナレーション付き地域間ウォークスルー映像を生成する。 本研究では,紙張りナレーションを生成するパイプラインであるMINARDを提案する。 FigTalkでは、MINARDは人間に似た、紙に忠実なナレーションを生成し、ナレーション条件付き人物空間グラウンドよりも優れる。
• 参考スコア（独自算出の注目度）: 9.767922040647315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific figures compress complex pipelines into a single canvas, yet understanding them requires paper-grounded, step-by-step narration aligned with visual highlights a capability missing from current video generation systems and benchmarks. To address this, we introduce paper-grounded figure-to-video generation: generating narrated, region-grounded walkthrough videos from a figure and its paper. We propose MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition), a pipeline that generates paper-grounded narrations and sequentially grounds them to figure regions. We also release FigTalk, a benchmark with new sequential and component-level grounding metrics derived. On FigTalk, MINARD generates humanlike, paper-faithful narrations and outperforms narration-conditioned figure spatial grounding compared to existing approaches in both automatic and human evaluation
• Abstract（参考訳）: 科学的な数字は複雑なパイプラインを単一のキャンバスに圧縮するが、それを理解するためには、既存のビデオ生成システムやベンチマークから欠落している視覚的ハイライトに合わせた、紙張りのステップバイステップナレーションが必要である。 そこで,本稿では,人物とその論文からナレーション付き地域間ウォークスルー映像を生成する,紙面の人物間映像生成について紹介する。 本研究では,紙張りナレーションを生成するパイプラインであるMINARD(Multimodal Interpretation of Narrated Architecture via Region Decomposition)を提案する。 また、新しいシーケンシャルおよびコンポーネントレベルのグラウンディングメトリクスを導出したベンチマークであるFigTalkもリリースしました。 FigTalk上では、MINARDは人間らしく、紙に忠実なナレーションを生成し、ナレーション条件付き人物空間グラウンドングを、自動評価と人的評価の両方における既存のアプローチと比較して上回る。

関連論文リスト

• Paper2Video: Automatic Video Generation from Scientific Papers [62.634562246594555]
  Paper2Videoは、著者が作成したプレゼンテーションビデオ、スライド、スピーカーメタデータと組み合わせた101の研究論文の最初のベンチマークである。 そこで我々は,学術プレゼンテーションビデオ生成のための最初のマルチエージェントフレームワークであるPaperTalkerを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:58:02Z)
• StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
  StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。 我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。 従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
  論文  参考訳（メタデータ） (2023-08-22T17:53:55Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• SummScreen: A Dataset for Abstractive Screenplay Summarization [52.56760815805357]
  SummScreenは、テレビシリーズトランスクリプトと人間の書かれたリキャップのペアで構成されたデータセットです。 プロットの詳細はしばしば文字対話で間接的に表現され、書き起こしの全体にわたって散らばることがある。 キャラクタはテレビシリーズの基本であるため,2つのエンティティ中心評価指標も提案する。
  論文  参考訳（メタデータ） (2021-04-14T19:37:40Z)
• Movie Summarization via Sparse Graph Construction [65.16768855902268]
  マルチモーダル情報を用いて構築された,シーン間の関係を表すスパースなムービーグラフを構築することで,TPシーンを識別するモデルを提案する。 人間の判断によれば、我々のアプローチによって作成された要約は、シーケンスベースモデルや汎用的な要約アルゴリズムの出力よりも、より情報的で完全であり、より高い評価を受けている。
  論文  参考訳（メタデータ） (2020-12-14T13:54:34Z)
• Narrative Maps: An Algorithmic Approach to Represent and Extract Information Narratives [6.85316573653194]
  本稿では、物語表現の理論と現代のオンラインシステムのデータを組み合わせる。 物語地図の表現は、物語の中の出来事と物語を、地図上のランドマークとルートのシリーズとして描いている。 我々の発見は、情報アナリスト、計算ジャーナリスト、誤情報研究者に影響を及ぼす。
  論文  参考訳（メタデータ） (2020-09-09T18:30:44Z)
• PlotMachines: Outline-Conditioned Generation with Dynamic Plot State Tracking [128.76063992147016]
  PlotMachinesは、動的プロット状態を追跡することによってアウトラインをコヒーレントなストーリーに変換することを学習する、ニューラルな物語モデルである。 さらに,PlotMachinesを高レベルな談話構造で強化し,モデルが物語の異なる部分に対応する筆記スタイルを学習できるようにした。
  論文  参考訳（メタデータ） (2020-04-30T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。