論文の概要: Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks

• arxiv url: http://arxiv.org/abs/2404.06480v2
• Date: Wed, 10 Apr 2024 07:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 11:37:32.153686
• Title: Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks
• Title（参考訳）: Ada-LEval: 長さ適応型ベンチマークによるLLMの評価
• Authors: Chonghua Wang, Haodong Duan, Songyang Zhang, Dahua Lin, Kai Chen,
• Abstract要約: 大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
• 参考スコア（独自算出の注目度）: 76.43527940649939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the large language model (LLM) community has shown increasing interest in enhancing LLMs' capability to handle extremely long documents. As various long-text techniques and model architectures emerge, the precise and detailed evaluation of models' long-text capabilities has become increasingly important. Existing long-text evaluation benchmarks, such as L-Eval and LongBench, construct long-text test sets based on open-source datasets, focusing mainly on QA and summarization tasks. These datasets include test samples of varying lengths (from 2k to 32k+) entangled together, making it challenging to assess model capabilities across different length ranges. Moreover, they do not cover the ultralong settings (100k+ tokens) that the latest LLMs claim to achieve. In this paper, we introduce Ada-LEval, a length-adaptable benchmark for evaluating the long-context understanding of LLMs. Ada-LEval includes two challenging subsets, TSort and BestAnswer, which enable a more reliable evaluation of LLMs' long context capabilities. These benchmarks support intricate manipulation of the length of test cases, and can easily produce text samples up to 128k tokens. We evaluate 4 state-of-the-art closed-source API models and 6 open-source models with Ada-LEval. The evaluation results demonstrate the limitations of current LLMs, especially in ultra-long-context settings. Our code is available at https://github.com/open-compass/Ada-LEval.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)コミュニティは,極めて長い文書を扱うLLMの能力向上への関心が高まっている。 様々な長文技術やモデルアーキテクチャが出現するにつれて、モデルの長文能力の正確かつ詳細な評価がますます重要になっている。 L-EvalやLongBenchといった既存の長文評価ベンチマークでは、QAや要約タスクを中心に、オープンソースのデータセットに基づいた長文テストセットを構築している。 これらのデータセットには、さまざまな長さ(2kから32k+)が絡み合ったテストサンプルが含まれており、異なる長さ範囲にわたるモデル機能の評価が困難である。 さらに、最新のLCMが達成しようとする超長い設定(100k+トークン)をカバーしていない。 本稿では,LLMの長文理解を評価するための長さ適応型ベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 これらのベンチマークは、テストケースの長さの複雑な操作をサポートし、128万トークンまでのテキストサンプルを簡単に生成できる。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。 評価結果は、特にウルトラ・ロング・コンテクスト・セッティングにおいて、現在のLLMの限界を示す。 私たちのコードはhttps://github.com/open-compass/Ada-LEval.comで利用可能です。

関連論文リスト

• HelloBench: Evaluating Long Text Generation Capabilities of Large Language Models [89.28591263741973]
  長文生成における大規模言語モデルの性能を評価するために,階層長文生成ベンチマーク(HelloBench)を導入する。 HelloBenchはブルームの分類に基づいて、長いテキスト生成タスクをオープンエンドQA、要約、チャット、テキスト補完、テキスト生成の5つのサブタスクに分類する。 また,人的評価に要する時間と労力を大幅に削減する人的評価手法である階層的長文評価(HelloEval)を提案する。
  論文  参考訳（メタデータ） (2024-09-24T15:38:11Z)
• NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window? [37.64593022203498]
  NeedleBenchは、バイリンガルの長期コンテキスト能力を評価するための、徐々に難しいタスクからなるフレームワークである。 私たちはこのフレームワークを使って、主要なオープンソースモデルがその疑問に関連する重要な情報をどの程度正確に特定できるかを評価する。 本稿では,実世界の長文タスクに現れる可能性の高い論理的推論課題の複雑さを模倣するAncestral Trace Challengeを提案する。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• LongIns: A Challenging Long-context Instruction-based Exam for LLMs [44.51209510772957]
  大規模言語モデル(LLM)の長いコンテキスト能力は近年ホットな話題となっている。 本稿ではLongInsベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:31:26Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。 最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。 XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-08T12:29:07Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)
• BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
  大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。 マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。 5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
  論文  参考訳（メタデータ） (2023-09-23T11:36:15Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。