論文の概要: PosterSum: A Multimodal Benchmark for Scientific Poster Summarization

• arxiv url: http://arxiv.org/abs/2502.17540v1
• Date: Mon, 24 Feb 2025 18:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:51.184206
• Title: PosterSum: A Multimodal Benchmark for Scientific Poster Summarization
• Title（参考訳）: PosterSum: 科学ポスターの要約のためのマルチモーダルベンチマーク
• Authors: Rohit Saxena, Pasquale Minervini, Frank Keller,
• Abstract要約: PosterSumは視覚言語モデルの開発を進めるための新しいベンチマークである。 我々はPosterSum上で最先端のマルチモーダル大言語モデル(MLLM)をベンチマークする。 自動メトリクス上での現在のMLLMよりも優れた階層的手法であるSegment & Summarizeを提案する。
• 参考スコア（独自算出の注目度）: 19.416714365519713
• License:
• Abstract: Generating accurate and concise textual summaries from multimodal documents is challenging, especially when dealing with visually complex content like scientific posters. We introduce PosterSum, a novel benchmark to advance the development of vision-language models that can understand and summarize scientific posters into research paper abstracts. Our dataset contains 16,305 conference posters paired with their corresponding abstracts as summaries. Each poster is provided in image format and presents diverse visual understanding challenges, such as complex layouts, dense text regions, tables, and figures. We benchmark state-of-the-art Multimodal Large Language Models (MLLMs) on PosterSum and demonstrate that they struggle to accurately interpret and summarize scientific posters. We propose Segment & Summarize, a hierarchical method that outperforms current MLLMs on automated metrics, achieving a 3.14% gain in ROUGE-L. This will serve as a starting point for future research on poster summarization.
• Abstract（参考訳）: マルチモーダル文書から正確で簡潔なテキスト要約を生成することは、特に科学的ポスターのような視覚的に複雑なコンテンツを扱う場合、困難である。 本稿では,研究論文の要約に科学的ポスターを理解し,要約できる視覚言語モデルの開発を促進するための新しいベンチマークであるPosterSumを紹介する。 データセットには16,305のカンファレンスポスターと、対応する抽象化を要約として組み合わせたものが含まれています。 各ポスターはイメージ形式で提供され、複雑なレイアウト、高密度テキスト領域、テーブル、図形など、さまざまな視覚的理解の課題が提示される。 我々はPosterSumで最先端のマルチモーダル大言語モデル(MLLM)をベンチマークし、科学的ポスターの正確な解釈と要約に苦慮していることを示す。 本稿では,従来のMLLMを自動メトリクスで上回り,ROUGE-Lで3.14%向上する階層的手法であるSegment & Summarizeを提案する。 これは将来のポスター要約研究の出発点となる。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• What Is That Talk About? A Video-to-Text Summarization Dataset for Scientific Presentations [47.79536652721794]
  本稿では,科学領域におけるビデオとテキストの要約に特化したデータセットであるVISTAを紹介する。 我々は、最先端の大規模モデルの性能をベンチマークし、抽象概念の構造的性質をよりよく捉えるためにプランベースのフレームワークを適用した。
  論文  参考訳（メタデータ） (2025-02-12T10:36:55Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• SEED-Bench-2-Plus: Benchmarking Multimodal Large Language Models with Text-Rich Visual Comprehension [62.40482764691584]
  MLLMのテキストに富んだ視覚的理解を評価するためのベンチマークSEED-Bench-2-Plusを紹介する。 私たちのベンチマークでは、チャート、マップ、ウェブの3つのカテゴリにまたがる、正確な人間のアノテーションによる2.3Kの多重選択質問で構成されています。 我々は,34の著名なMLLMを包含する徹底的な評価を行い,テキストリッチ視覚理解におけるMLLMの現在の限界を強調した。
  論文  参考訳（メタデータ） (2024-04-25T17:39:35Z)
• Bridging Research and Readers: A Multi-Modal Automated Academic Papers Interpretation System [47.13932723910289]
  本稿では,3段階のプロセス段階を有するオープンソースマルチモーダル自動学術論文解釈システム(MMAPIS)を紹介する。 ドキュメントからプレーンテキストや表や図を別々に抽出するために、ハイブリッドなモダリティ前処理とアライメントモジュールを使用している。 すると、この情報は彼らが属するセクション名に基づいて調整され、同じセクション名を持つデータが同じセクションの下に分類される。 抽出されたセクション名を用いて、記事を短いテキストセグメントに分割し、LSMを通してセクション内とセクション間の特定の要約を容易にする。
  論文  参考訳（メタデータ） (2024-01-17T11:50:53Z)
• mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model [73.38800189095173]
  本研究はマルチモーダルLLMのマルチモーダルダイアグラム解析機能を強化することに焦点を当てる。 高品質な論文のLatexソースファイルを解析することにより、マルチモーダルなダイアグラム理解データセットM-Paperを慎重に構築する。 M-Paperは、画像やラテックス符号のフォーマットの数字や表を含む、複数の科学的図の合同理解をサポートする最初のデータセットである。
  論文  参考訳（メタデータ） (2023-11-30T04:43:26Z)
• InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition [111.65584066987036]
  InternLM-XComposerは、高度な画像テキストの理解と合成を可能にする視覚言語による大規模モデルである。 シームレスに画像を統合するコヒーレントでコンテキスト的な記事を生成することができる。 画像がコンテンツを強化するテキスト内の領域をインテリジェントに識別し、最も適切な視覚的候補を自動的に挿入する。
  論文  参考訳（メタデータ） (2023-09-26T17:58:20Z)
• Learning Summary-Worthy Visual Representation for Abstractive Summarization in Video [34.202514532882]
  本稿では,抽象的な要約を容易にする要約価値のある視覚表現を学習するための新しいアプローチを提案する。 本手法は, クロスモーダル転写データと擬似要約から抽出した知識の両方から, 要約に値する情報を利用する。
  論文  参考訳（メタデータ） (2023-05-08T16:24:46Z)
• Neural Content Extraction for Poster Generation of Scientific Papers [84.30128728027375]
  科学論文のポスター生成の問題は未解明である。 これまでの研究は主にポスターレイアウトとパネル構成に重点を置いていたが、コンテンツ抽出の重要性は無視された。 ポスターパネルのテキスト要素と視覚要素の両方を得るために,紙セクションのテキスト,図形,テーブルを同時に抽出するニューラル抽出モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-16T01:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。