論文の概要: Marathon: A Race Through the Realm of Long Context with Large Language Models

• arxiv url: http://arxiv.org/abs/2312.09542v2
• Date: Wed, 26 Jun 2024 04:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 19:24:20.688770
• Title: Marathon: A Race Through the Realm of Long Context with Large Language Models
• Title（参考訳）: Marathon: 大規模言語モデルによる長いコンテキストの領域でのレース
• Authors: Lei Zhang, Yunshui Li, Ziqiang Liu, Jiaxi yang, Junhao Liu, Longze Chen, Run Luo, Min Yang,
• Abstract要約: Marathonは、複数選択の質問フォーマットを採用する新しい評価ベンチマークである。 これは特に、以前のベンチマークの制約を克服するために設計されている。 これは、大規模言語モデルの長文理解スキルの迅速で正確で偏見のない評価を提供する。
• 参考スコア（独自算出の注目度）: 17.30755499371844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of large language models (LLMs) and the expansion of their context windows, existing long-context benchmarks fall short in effectively evaluating the models' comprehension and reasoning abilities in extended texts. Moreover, conventional benchmarks relying on F1 metrics often inaccurately score responses: they may undervalue correct answers that differ from the reference responses and overvalue incorrect ones that resemble the reference texts. In response to these limitations, we introduce Marathon, a novel evaluation benchmark that adopts a multiple-choice question format. It is specifically designed to overcome the constraints of previous benchmarks and provide a rapid, precise, and unbiased appraisal of the long-context comprehension skills of large language models. We conducted comprehensive evaluations on the Marathon benchmark with a range of state-of-the-art LLMs and assessed the effectiveness of various optimization strategies tailored for long-context generation. We anticipate that the Marathon benchmark and its associated leaderboard will enable a more precise and equitable evaluation of LLMs' capabilities in understanding and reasoning over extended contexts. Marathon is available at https://github.com/Hambaobao/Marathon.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩とコンテキストウィンドウの拡張により、既存の長期コンテキストベンチマークは、拡張テキストにおけるモデルの理解と推論能力を効果的に評価するのに不足する。 さらに、F1メトリクスに依存する従来のベンチマークでは、参照応答と異なる正解を過大評価し、参照テキストに類似した過大評価不正確な回答を下限に評価することがある。 これらの制約に対応するために,マルチ選択質問形式を採用した新しい評価ベンチマークであるMarathonを導入する。 それは特に、以前のベンチマークの制約を克服し、大規模言語モデルの長文理解スキルの迅速で正確で偏りのない評価を提供するように設計されている。 本研究では,Marathonベンチマークの総合評価を行い,長文生成に適した最適化手法の有効性について検討した。 Marathonベンチマークと関連するリーダボードにより、拡張コンテキストに対する理解と推論におけるLLMの能力をより正確かつ公平に評価できるようになると期待する。 Marathonはhttps://github.com/Hambaobao/Marathon.comで入手できる。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• ETHIC: Evaluating Large Language Models on Long-Context Tasks with High Information Coverage [21.036912648701264]
  本稿では,クエリの応答に必要な入力コンテキストの割合を定量化する,情報カバレッジ(IC)と呼ばれる新しい指標を提案する。 ETHICは、LLMがコンテキスト全体を活用する能力を評価するために設計された新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-22T09:35:42Z)
• HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly [34.205934899868346]
  HELMETは7つの多様なアプリケーション中心のカテゴリを包含する総合ベンチマークである。 NIAHのような合成タスクは、下流のパフォーマンスの予測に適していないことが分かりました。 ほとんどのLCLMは完全なNIAHスコアを達成しているが、タスクがフルコンテキスト推論を必要とする場合、オープンソースモデルはクローズドなスコアよりも大幅に遅れている。
  論文  参考訳（メタデータ） (2024-10-03T17:20:11Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
  NovelQAは拡張テキストによる大規模言語モデルの能力をテストするために設計されたベンチマークである。 本稿では,ノベルQAの設計と構築について述べる。 NovelQAにおけるLong-context LLMの評価により,モデルの性能に関する重要な知見が得られた。
  論文  参考訳（メタデータ） (2024-03-18T17:32:32Z)
• TRAM: Benchmarking Temporal Reasoning for Large Language Models [12.112914393948415]
  10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。 GPT-4やLlama2のような一般的な言語モデルをゼロショットや少数ショットのシナリオで評価する。 以上の結果から,最も優れたモデルラグは人的パフォーマンスに大きく遅れていることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T00:59:07Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。