論文の概要: LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation

• arxiv url: http://arxiv.org/abs/2108.12960v1
• Date: Mon, 30 Aug 2021 02:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:48:19.566479
• Title: LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation
• Title（参考訳）: lot: 中国語の長文理解と生成を評価するベンチマーク
• Authors: Jian Guan, Zhuoer Feng, Yamei Chen, Ruilin He, Xiaoxi Mao, Changjie Fan, Minlie Huang
• Abstract要約: ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。 中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。 我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
• 参考スコア（独自算出の注目度）: 49.57366550980932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard multi-task benchmarks are essential for driving the progress of general pretraining models to generalize to various downstream tasks. However, existing benchmarks such as GLUE and GLGE tend to focus on short text understanding and generation tasks, without considering long text modeling, which requires many distinct capabilities such as modeling long-range commonsense and discourse relations, as well as the coherence and controllability of generation. The lack of standardized benchmarks makes it difficult to fully evaluate these capabilities of a model and fairly compare different models, especially Chinese pretraining models. Therefore, we propose LOT, a benchmark including two understanding and two generation tasks for Chinese long text modeling evaluation. We construct the datasets for the tasks based on various kinds of human-written Chinese stories. Besides, we release an encoder-decoder Chinese long text pretraining model named LongLM with up to 1 billion parameters. We pretrain LongLM on 120G Chinese novels with two generative tasks including text infilling and conditional continuation. Extensive experiments on LOT demonstrate that LongLM matches the performance of similar-sized pretraining models on the understanding tasks and outperforms strong baselines substantially on the generation tasks.
• Abstract（参考訳）: 標準マルチタスクベンチマークは、様々な下流タスクに一般化するために、一般的な事前学習モデルの進行を駆動するために不可欠である。 しかし、GLUEやGLGEのような既存のベンチマークは、長いテキストモデリングを考慮せずに、短いテキスト理解と生成タスクに集中する傾向にあり、これは、長距離コモンセンスや談話関係のモデリングや、生成の一貫性と制御性といった多くの異なる機能を必要とする。 標準ベンチマークが欠如しているため、モデルの能力を完全に評価することは困難であり、異なるモデル、特に中国の事前学習モデルを比較することは困難である。 そこで我々は,中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークLOTを提案する。 さまざまな人文中国語の物語に基づいてタスクのデータセットを構築した。 さらに、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国語長文事前学習モデルをリリースする。 我々はテキストインフィルディングと条件付き継続を含む2つの生成的タスクを持つ120gの中国小説についてlonglmを事前学習する。 LOTに関する大規模な実験により、LongLMは理解タスクにおいて類似の大きさの事前学習モデルの性能と一致し、生成タスクにおいて強いベースラインを著しく上回ることを示した。

関連論文リスト

• LongGenBench: Benchmarking Long-Form Generation in Long Context LLMs [4.4965596747053]
  ロングフォームテキスト生成は、設計提案やクリエイティブな文章作成といったアプリケーションには不可欠である。 新しいロングフォームテキスト評価ベンチマークであるLongGenBenchは、生成されたロングテキストシーケンス内の特定のイベントを識別するモデルの能力をテストする。
  論文  参考訳（メタデータ） (2024-09-03T17:25:54Z)
• XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。 最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。 XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-08T12:29:07Z)
• LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
  LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。 LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。 我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-21T07:27:18Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
  大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。 マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。 5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
  論文  参考訳（メタデータ） (2023-09-23T11:36:15Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)
• Generate to Understand for Representation [3.5325087487696463]
  GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-06-14T06:00:18Z)
• MuLD: The Multitask Long Document Benchmark [4.835289158553091]
  我々は1万以上のトークンからなる文書のみからなる新しい長期文書ベンチマークを示す。 文脈長の増大したモデルでは,課題の解決がより容易であることを示す。
  論文  参考訳（メタデータ） (2022-02-15T12:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。