論文の概要: Self-Supervised Learning for Visual Summary Identification in Scientific
Publications
- arxiv url: http://arxiv.org/abs/2012.11213v2
- Date: Thu, 14 Jan 2021 09:00:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:28:10.513449
- Title: Self-Supervised Learning for Visual Summary Identification in Scientific
Publications
- Title(参考訳): 科学出版における視覚的要約同定のための自己指導型学習
- Authors: Shintaro Yamamoto, Anne Lauscher, Simone Paolo Ponzetto, Goran
Glava\v{s}, Shigeo Morishima
- Abstract要約: 要約に基づいて、出版物の視覚的な要約として機能する数字を選択するための新しいベンチマークデータセットを作成します。
図形キャプション付き図形へのインライン参照のマッチングに基づいて,自己教師付き学習手法を開発する。
生物医学およびコンピュータ科学の分野の実験は私達のモデルが芸術の状態を上回ることができることを示します。
- 参考スコア(独自算出の注目度): 21.26121265868308
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Providing visual summaries of scientific publications can increase
information access for readers and thereby help deal with the exponential
growth in the number of scientific publications. Nonetheless, efforts in
providing visual publication summaries have been few and far apart, primarily
focusing on the biomedical domain. This is primarily because of the limited
availability of annotated gold standards, which hampers the application of
robust and high-performing supervised learning techniques. To address these
problems we create a new benchmark dataset for selecting figures to serve as
visual summaries of publications based on their abstracts, covering several
domains in computer science. Moreover, we develop a self-supervised learning
approach, based on heuristic matching of inline references to figures with
figure captions. Experiments in both biomedical and computer science domains
show that our model is able to outperform the state of the art despite being
self-supervised and therefore not relying on any annotated training data.
- Abstract(参考訳): 科学出版物の視覚的要約を提供することで、読者の情報アクセスが増加し、科学出版物の急増に対応することができる。
それでも、バイオメディカル分野を中心に、ビジュアル出版の要約を提供する努力はほとんど行われていない。
これは主に、堅牢で高パフォーマンスな教師付き学習技術の適用を阻害する、注釈付きゴールド標準の可用性が限られているためである。
これらの問題に対処するために、コンピュータ科学のいくつかの領域をカバーする、論文の要約を視覚的に要約するフィギュアを選択するための新しいベンチマークデータセットを作成する。
さらに,図形キャプション付き図形へのインライン参照のヒューリスティックマッチングに基づく自己教師型学習手法を開発した。
バイオメディカル領域とコンピュータサイエンス領域の両方の実験により、我々のモデルは自己監督されているにも関わらず、注釈付きトレーニングデータに頼らずに芸術の状態を上回り得ることが示された。
関連論文リスト
- MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。
我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。
データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - Enhancing Scientific Figure Captioning Through Cross-modal Learning [0.0]
科学的研究データの量と多様性が急増し、チャートの数と多様性が増加した。
本稿では,研究データの明瞭さとアクセシビリティ向上に有効であることを示すため,学術チャートのタイトル生成に対する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-06-24T18:08:19Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳(メタデータ) (2024-06-10T21:22:08Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳(メタデータ) (2024-01-24T14:23:12Z) - CARE: Extracting Experimental Findings From Clinical Literature [29.763929941107616]
本研究は,臨床所見抽出のための新しいIEデータセットであるCAREを提示する。
我々は,エンティティと属性間のn-ary関係として微細な発見をキャプチャする新しいアノテーションスキーマを開発した。
臨床治験と症例報告の2つの資料から,700件の要約の広範な注釈を収集した。
論文 参考訳(メタデータ) (2023-11-16T10:06:19Z) - Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - State of the Art on Diffusion Models for Visual Computing [191.6168813012954]
本稿では,拡散モデルの基本数学的概念,実装の詳細,および一般的な安定拡散モデルの設計選択を紹介する。
また,拡散に基づく生成と編集に関する文献の急速な発展を概観する。
利用可能なデータセット、メトリクス、オープンな課題、社会的意味について議論する。
論文 参考訳(メタデータ) (2023-10-11T05:32:29Z) - CitationIE: Leveraging the Citation Graph for Scientific Information
Extraction [89.33938657493765]
引用論文と引用論文の参照リンクの引用グラフを使用する。
最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳(メタデータ) (2021-06-03T03:00:12Z) - Semantic and Relational Spaces in Science of Science: Deep Learning
Models for Article Vectorisation [4.178929174617172]
我々は、自然言語処理(NLP)とグラフニューラルネットワーク(GNN)を用いて、記事の意味的・関係的な側面に基づく文書レベルの埋め込みに焦点を当てる。
論文のセマンティックな空間をNLPでエンコードできるのに対し、GNNでは研究コミュニティの社会的実践をエンコードするリレーショナルな空間を構築することができる。
論文 参考訳(メタデータ) (2020-11-05T14:57:41Z) - Generating Knowledge Graphs by Employing Natural Language Processing and
Machine Learning Techniques within the Scholarly Domain [1.9004296236396943]
本稿では、自然言語処理と機械学習を利用して研究論文から実体や関係を抽出する新しいアーキテクチャを提案する。
本研究では,現在最先端の自然言語処理ツールとテキストマイニングツールを用いて,知識抽出の課題に取り組む。
セマンティックWebドメイン内の論文26,827件から抽出した109,105件のトリプルを含む科学知識グラフを作成した。
論文 参考訳(メタデータ) (2020-10-28T08:31:40Z) - Visual Exploration and Knowledge Discovery from Biomedical Dark Data [0.0]
我々は、バイオメディカルダークデータから知識を発見するために、自然言語処理ベースのパイプラインを使用している。
我々は、膨大な量の情報を解析する問題を克服する潜在的な解決策を得ることを目的としている。
論文 参考訳(メタデータ) (2020-09-28T04:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。