論文の概要: SciRepEval: A Multi-Format Benchmark for Scientific Document Representations

• arxiv url: http://arxiv.org/abs/2211.13308v1
• Date: Wed, 23 Nov 2022 21:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 14:22:10.940381
• Title: SciRepEval: A Multi-Format Benchmark for Scientific Document Representations
• Title（参考訳）: scirepeval: 科学文書表現のためのマルチフォーマットベンチマーク
• Authors: Amanpreet Singh, Mike D'Arcy, Arman Cohan, Doug Downey, Sergey Feldman
• Abstract要約: SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。 これには25の挑戦的で現実的なタスクが含まれており、うち11は新しいもので、分類、回帰、ランキング、検索の4つのフォーマットにまたがっている。 現状のモデルがタスク形式全体の一般化にどのように苦労しているかを示し、単純なマルチタスクトレーニングではそれらを改善することができないことを示す。
• 参考スコア（独自算出の注目度）: 36.18957483963666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned representations of scientific documents can serve as valuable input features for downstream tasks, without the need for further fine-tuning. However, existing benchmarks for evaluating these representations fail to capture the diversity of relevant tasks. In response, we introduce SciRepEval, the first comprehensive benchmark for training and evaluating scientific document representations. It includes 25 challenging and realistic tasks, 11 of which are new, across four formats: classification, regression, ranking and search. We then use the benchmark to study and improve the generalization ability of scientific document representation models. We show how state-of-the-art models struggle to generalize across task formats, and that simple multi-task training fails to improve them. However, a new approach that learns multiple embeddings per document, each tailored to a different format, can improve performance. We experiment with task-format-specific control codes and adapters in a multi-task setting and find that they outperform the existing single-embedding state-of-the-art by up to 1.5 points absolute.
• Abstract（参考訳）: 科学的文書の学習された表現は、さらなる微調整を必要とせず、下流タスクの貴重な入力機能として機能する。 しかし、これらの表現を評価するための既存のベンチマークは、関連するタスクの多様性を捉えていない。 そこで本研究では,科学文書表現の学習と評価のための最初の総合ベンチマークであるscirepevalを紹介する。 これは25の挑戦的で現実的なタスクを含み、11のタスクは新しいもので、分類、回帰、ランキング、検索の4つの形式がある。 次に、ベンチマークを用いて、科学的文書表現モデルの一般化能力の研究と改善を行う。 我々は、最先端モデルがタスクフォーマットを一般化するのにいかに苦労しているかを示し、単純なマルチタスクトレーニングでは改善できないことを示す。 しかし、ドキュメントごとに複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを向上させることができる。 タスク形式固有の制御コードとアダプタをマルチタスク設定で実験した結果、既存の単一埋め込み状態を1.5ポイントまで上回っていることがわかった。

関連論文リスト

• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models [63.466265039007816]
  我々は、arXivオープンアクセスコミュニティの153の分野から500Kの科学文書を注釈付けして構築した構造化文書ベンチマークDocGenomeを提案する。 我々はDocGenomeの利点を実証するために広範な実験を行い、我々のベンチマークで大規模モデルの性能を客観的に評価した。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Beyond Document Page Classification: Design, Datasets, and Challenges [32.94494070330065]
  本稿では,文書分類ベンチマークを現実のアプリケーションに近づける必要性を強調した。 我々は、パブリックなマルチページ文書分類データセットの欠如を特定し、アプリケーションシナリオにおける異なる分類タスクを形式化し、効率的なマルチページ文書表現をターゲットとする価値を動機づける。
  論文  参考訳（メタデータ） (2023-08-24T16:16:47Z)
• MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents [77.34726150561087]
  論文の高品質な表現を学習する簡単な方法であるMIREADを提案する。 私たちは、2000以上のジャーナルクラスで50万以上のPubMedとarXivの抽象クラスでMIREADをトレーニングします。
  論文  参考訳（メタデータ） (2023-05-07T03:29:55Z)
• Large-scale learning of generalised representations for speaker recognition [52.978310296712834]
  多様なシナリオで使用される話者認識モデルを開発した。 いくつかの既存のデータセットを組み合わせた新しいトレーニングデータ構成について検討する。 帰納バイアスの少ない MFA-Conformer が最良を一般化する。
  論文  参考訳（メタデータ） (2022-10-20T03:08:18Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity [11.157086694203201]
  本稿では, 微粒な面のマッチングに基づく新しい科学的文書類似性モデルを提案する。 本モデルは,テキスト管理の新たな形態として,関連論文の側面を記述した共引用文脈を用いて学習する。
  論文  参考訳（メタデータ） (2021-11-16T11:12:30Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。