論文の概要: Long Input Benchmark for Russian Analysis
- arxiv url: http://arxiv.org/abs/2408.02439v1
- Date: Mon, 5 Aug 2024 12:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 13:37:05.805936
- Title: Long Input Benchmark for Russian Analysis
- Title（参考訳）: ロシア分析のための長期入力ベンチマーク
- Authors: Igor Churin, Murat Apishev, Maria Tikhonova, Denis Shevelev, Aydar Bulatov, Yuri Kuratov, Sergej Averkiev, Alena Fenogenova,
- Abstract要約: LIBRAは、LLMの長文を徹底的に理解する能力を研究するために、21の適応データセットで構成されている。
テストは4つの複雑性グループに分けられ、4kから128kまでの様々な長さのモデルの評価が可能である。
我々はLIBRAのオープンソースデータセット、コンテキスト、および公開リーダボードを提供し、今後の研究をガイドしています。
- 参考スコア（独自算出の注目度）: 2.500659051698016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in Natural Language Processing (NLP) have fostered the development of Large Language Models (LLMs) that can solve an immense variety of tasks. One of the key aspects of their application is their ability to work with long text documents and to process long sequences of tokens. This has created a demand for proper evaluation of long-context understanding. To address this need for the Russian language, we propose LIBRA (Long Input Benchmark for Russian Analysis), which comprises 21 adapted datasets to study the LLM's abilities to understand long texts thoroughly. The tests are divided into four complexity groups and allow the evaluation of models across various context lengths ranging from 4k up to 128k tokens. We provide the open-source datasets, codebase, and public leaderboard for LIBRA to guide forthcoming research.
- Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、多種多様なタスクを解決できる大規模言語モデル(LLM)の開発を後押ししている。
アプリケーションの重要な側面の1つは、長いテキスト文書で作業し、トークンの長いシーケンスを処理する能力である。
これにより、長文理解の適切な評価の要求が生まれている。
そこで本稿では,LIBRA(Long Input Benchmark for Russian Analysis)を提案する。
テストは4つの複雑性グループに分けられ、4kから128kまでのさまざまなコンテキスト長のモデルの評価が可能になる。
我々はLIBRAのオープンソースデータセット、コードベース、公開リーダボードを提供し、今後の研究をガイドしています。
関連論文リスト
- How to Train Long-Context Language Models (Effectively) [75.5418485597276]
言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。
ProLong-8BはLlama-3のもので、40Bトークンで訓練されている。
論文 参考訳（メタデータ） (2024-10-03T16:46:52Z) - Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。
Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。
Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
論文 参考訳（メタデータ） (2024-04-09T17:30:48Z) - XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。
最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。
XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
論文 参考訳（メタデータ） (2024-04-08T12:29:07Z) - BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。
マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。
5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
論文 参考訳（メタデータ） (2023-09-23T11:36:15Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-08-31T17:43:08Z) - LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。
英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
論文 参考訳（メタデータ） (2023-08-28T11:53:40Z) - SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。
SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。
すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
論文 参考訳（メタデータ） (2022-01-10T18:47:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。