論文の概要: Bridging Research and Readers: A Multi-Modal Automated Academic Papers Interpretation System

• arxiv url: http://arxiv.org/abs/2401.09150v1
• Date: Wed, 17 Jan 2024 11:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 16:01:21.503891
• Title: Bridging Research and Readers: A Multi-Modal Automated Academic Papers Interpretation System
• Title（参考訳）: 橋渡し研究と読者 : マルチモーダル自動学術論文解釈システム
• Authors: Feng Jiang, Kuang Wang, Haizhou Li
• Abstract要約: 本稿では,3段階のプロセス段階を有するオープンソースマルチモーダル自動学術論文解釈システム(MMAPIS)を紹介する。 ドキュメントからプレーンテキストや表や図を別々に抽出するために、ハイブリッドなモダリティ前処理とアライメントモジュールを使用している。 すると、この情報は彼らが属するセクション名に基づいて調整され、同じセクション名を持つデータが同じセクションの下に分類される。 抽出されたセクション名を用いて、記事を短いテキストセグメントに分割し、LSMを通してセクション内とセクション間の特定の要約を容易にする。
• 参考スコア（独自算出の注目度）: 47.13932723910289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the contemporary information era, significantly accelerated by the advent of Large-scale Language Models, the proliferation of scientific literature is reaching unprecedented levels. Researchers urgently require efficient tools for reading and summarizing academic papers, uncovering significant scientific literature, and employing diverse interpretative methodologies. To address this burgeoning demand, the role of automated scientific literature interpretation systems has become paramount. However, prevailing models, both commercial and open-source, confront notable challenges: they often overlook multimodal data, grapple with summarizing over-length texts, and lack diverse user interfaces. In response, we introduce an open-source multi-modal automated academic paper interpretation system (MMAPIS) with three-step process stages, incorporating LLMs to augment its functionality. Our system first employs the hybrid modality preprocessing and alignment module to extract plain text, and tables or figures from documents separately. It then aligns this information based on the section names they belong to, ensuring that data with identical section names are categorized under the same section. Following this, we introduce a hierarchical discourse-aware summarization method. It utilizes the extracted section names to divide the article into shorter text segments, facilitating specific summarizations both within and between sections via LLMs with specific prompts. Finally, we have designed four types of diversified user interfaces, including paper recommendation, multimodal Q\&A, audio broadcasting, and interpretation blog, which can be widely applied across various scenarios. Our qualitative and quantitative evaluations underscore the system's superiority, especially in scientific summarization, where it outperforms solutions relying solely on GPT-4.
• Abstract（参考訳）: 大規模言語モデルの出現によって著しく加速された現代情報時代において、科学文献の拡散は前例のない水準に達している。 研究者は、学術論文の読解と要約、重要な科学文献の解明、多様な解釈方法論を用いた効率的なツールを必要としている。 この急激な需要に対応するために、自動科学文献解釈システムの役割が最重要である。 しかし、商用とオープンソースの両方で普及しているモデルは、しばしばマルチモーダルデータを見落とし、長大なテキストを要約し、多様なユーザーインターフェイスを欠いているという、顕著な課題に直面している。 そこで本研究では,3段階のプロセスステージを持つマルチモーダル自動学術論文解釈システム (mmapis) を提案する。 本システムではまず,文書からプレーンテキストや表,図形を別々に抽出するために,ハイブリッドなモーダル前処理とアライメントモジュールを用いている。 そして、その情報が属するセクション名に基づいて調整され、同一のセクション名を持つデータが同じセクションで分類されることを保証する。 次に,階層型談話認識要約法を提案する。 抽出されたセクション名を短いテキストセグメントに分割し、特定のプロンプトを持つLSMを通してセクション内とセクション間の特定の要約を容易にする。 最後に,様々なシナリオに適用可能な,紙推薦,マルチモーダルq\&a,音声放送,解釈ブログという4種類の多様なユーザインタフェースを設計した。 我々の質的・定量的評価は、特に科学的な要約において、GPT-4にのみ依存する解よりも優れるシステムの優位性を示している。

関連論文リスト

• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• Enhancing Presentation Slide Generation by LLMs with a Multi-Staged End-to-End Approach [21.8104104944488]
  ドキュメントからリッチなプレゼンテーションを生成するための既存のアプローチは、しばしば半自動的であるか、良い物語の重要性を無視してスライドに平らな要約を配置するだけである。 LLMとVLMを組み合わせた多段階のエンドツーエンドモデルを提案する。 我々は,LLMを最先端のプロンプトで直接適用するよりも,自動計測と人的評価の点で,提案した多段階ソリューションの方が優れていることを実験的に示した。
  論文  参考訳（メタデータ） (2024-06-01T07:49:31Z)
• Context-Enhanced Language Models for Generating Multi-Paper Citations [35.80247519023821]
  本稿では,Large Language Models (LLMs) を用いて多文文を生成する手法を提案する。 提案手法は,複数文の引用文を含むコヒーレントな段落に終止符を打つ,単一のソース・ペーパーと対象論文の集合を包含する。
  論文  参考訳（メタデータ） (2024-04-22T04:30:36Z)
• Prompting LLMs with content plans to enhance the summarization of scientific articles [0.19183348587701113]
  我々は要約システムを導くためのプロンプト手法を考案し、実装し、評価する。 記事から抽出したキーワードのリストを要約する。 結果,特に分割を個別に要約する小さなモデルでは,性能が向上した。
  論文  参考訳（メタデータ） (2023-12-13T16:57:31Z)
• Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
  同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
  論文  参考訳（メタデータ） (2023-09-17T20:28:17Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• UniDoc: A Universal Large Multimodal Model for Simultaneous Text Detection, Recognition, Spotting and Understanding [93.92313947913831]
  テキスト検出と認識機能を備えた新しいマルチモーダルモデルUniDocを紹介する。 我々の知る限りでは、これはテキストの検出、認識、スポッティング、理解を同時に行うことができる最初の大規模マルチモーダルモデルである。
  論文  参考訳（メタデータ） (2023-08-19T17:32:34Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Summaformers @ LaySumm 20, LongSumm 20 [14.44754831438127]
  本稿では,複数の領域から科学研究論文を要約する問題について考察する。 私たちはLaySummとLongSummという2種類の要約を区別します。 最新のTransformerベースのモデルを活用しながら、私たちのシステムはシンプルで直感的で、特定の紙セクションが人間の要約にどのように貢献するかに基づいています。
  論文  参考訳（メタデータ） (2021-01-10T13:48:12Z)
• From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information [77.89755281215079]
  テキスト要約は、原文書の短く凝縮した版を作成することを目的とした研究分野である。 現実世界のアプリケーションでは、ほとんどのデータは平易なテキスト形式ではない。 本稿では,現実のアプリケーションにおけるこれらの新しい要約タスクとアプローチについて調査する。
  論文  参考訳（メタデータ） (2020-05-10T14:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。