論文の概要: SCROLLS: Standardized CompaRison Over Long Language Sequences

• arxiv url: http://arxiv.org/abs/2201.03533v1
• Date: Mon, 10 Jan 2022 18:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 14:22:48.121226
• Title: SCROLLS: Standardized CompaRison Over Long Language Sequences
• Title（参考訳）: scrolls: 長い言語シーケンスにおける標準比較
• Authors: Uri Shaham, Elad Segal, Maor Ivgi, Avia Efrat, Ori Yoran, Adi Haviv, Ankit Gupta, Wenhan Xiong, Mor Geva, Jonathan Berant, Omer Levy
• Abstract要約: SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
• 参考スコア（独自算出の注目度）: 62.574959194373264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP benchmarks have largely focused on short texts, such as sentences and paragraphs, even though long texts comprise a considerable amount of natural language in the wild. We introduce SCROLLS, a suite of tasks that require reasoning over long texts. We examine existing long-text datasets, and handpick ones where the text is naturally long, while prioritizing tasks that involve synthesizing information across the input. SCROLLS contains summarization, question answering, and natural language inference tasks, covering multiple domains, including literature, science, business, and entertainment. Initial baselines, including Longformer Encoder-Decoder, indicate that there is ample room for improvement on SCROLLS. We make all datasets available in a unified text-to-text format and host a live leaderboard to facilitate research on model architecture and pretraining methods.
• Abstract（参考訳）: NLPベンチマークは主に文や段落などの短いテキストに重点を置いているが、長いテキストは野生でかなりの量の自然言語で構成されている。 SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 既存の長文データセットを調べ,テキストが自然に長文である場合のハンドピックを行い,入力間の情報を合成するタスクを優先順位付けする。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれており、文学、科学、ビジネス、エンターテイメントなど複数の分野をカバーする。 Longformer Encoder-Decoderを含む初期ベースラインは、SCROLLSの改善の余地が十分にあることを示している。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で公開し、モデルアーキテクチャと事前学習方法の研究を容易にするライブのリーダーボードをホストします。

関連論文リスト

• Long Input Benchmark for Russian Analysis [2.500659051698016]
  LIBRAは、LLMの長文を徹底的に理解する能力を研究するために、21の適応データセットで構成されている。 テストは4つの複雑性グループに分けられ、4kから128kまでの様々な長さのモデルの評価が可能である。 我々はLIBRAのオープンソースデータセット、コンテキスト、および公開リーダボードを提供し、今後の研究をガイドしています。
  論文  参考訳（メタデータ） (2024-08-05T12:59:35Z)
• Dataset and Benchmark for Urdu Natural Scenes Text Detection, Recognition and Visual Question Answering [50.52792174648067]
  このイニシアチブは、テキストと視覚的理解のギャップを埋めようとしている。 そこで本研究では,1000以上の自然シーン画像からなるマルチタスクUrduシーンテキストデータセットを提案する。 テキストインスタンスの細かいアノテーションを提供し、以前のデータセットの制限に対処します。
  論文  参考訳（メタデータ） (2024-05-21T06:48:26Z)
• LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
  LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。 LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。 我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-21T07:27:18Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• LoRaLay: A Multilingual and Multimodal Dataset for Long Range and Layout-Aware Summarization [19.301567079372436]
  テキスト要約は、自然言語処理コミュニティにとって人気のある課題であり、研究の活発な領域である。 すべての公開可能な要約データセットは、プレーンテキストコンテンツのみを提供する。 視覚/レイ情報を伴う長距離要約のためのデータセットのコレクションであるLoRaLayを提示する。
  論文  参考訳（メタデータ） (2023-01-26T18:50:54Z)
• Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents [13.755637074366813]
  SummNは、典型的な事前訓練されたLMの最大文脈長よりも長いテキストを入力するための、シンプルで柔軟で効果的な多段階フレームワークである。 LMコンテキストサイズを固定したままステージ数を調整することで任意の長さの入力テキストを処理できる。 実験の結果,SummNは従来の最先端手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T06:19:54Z)
• Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
  本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。 我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
  論文  参考訳（メタデータ） (2021-05-21T12:27:44Z)
• Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts [19.894104911338353]
  ConTRoLは、Longテキスト上のConTextual Reasoningのための新しいデータセットである。 8,325人の専門家が設計した"context-hypothesis"ペアとゴールドラベルで構成されている。 これは、警察の徴兵のための競争的選択と採用試験(言語推論テスト)から派生し、専門家レベルの品質を持つ。
  論文  参考訳（メタデータ） (2020-11-10T02:31:31Z)
• Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
  テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。 2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。 タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
  論文  参考訳（メタデータ） (2020-11-01T04:04:43Z)
• Enabling Language Models to Fill in the Blanks [81.59381915581892]
  文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。 我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。 言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-05-11T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。