Fugu-MT 論文翻訳(概要): LC-Eval: A Bilingual Multi-Task Evaluation Benchmark for Long-Context Understanding

論文の概要: LC-Eval: A Bilingual Multi-Task Evaluation Benchmark for Long-Context Understanding

arxiv url: http://arxiv.org/abs/2510.16783v1
Date: Sun, 19 Oct 2025 10:15:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 00:56:39.142992
Title: LC-Eval: A Bilingual Multi-Task Evaluation Benchmark for Long-Context Understanding
Title（参考訳）: LC-Eval:長期理解のためのバイリンガルマルチタスク評価ベンチマーク
Authors: Sheikh Jubair, Arwa Omayrah, Amal Alshammari, Alhanoof Althnian, Abdulhamed Alothaimen, Norah A. Alzahrani, Shahad D. Alzaidi, Nora Al-Twairesh, Abdulmohsen Al-Thubaity,
Abstract要約: 英語とアラビア語の長文理解を評価するために設計されたバイリンガル・マルチタスク評価ベンチマークである textbfLC-Eval を提案する。このベンチマークには、各タスクのアラビア語と英語の両方のデータセットが含まれており、異なるテキストジャンルにわたるパフォーマンスの比較分析を可能にする。
参考スコア（独自算出の注目度）: 0.4837072536850575
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advancements in Large Language Models (LLMs) have demonstrated sophisticated capabilities, including the ability to process and comprehend extended contexts. These emergent capabilities necessitate rigorous evaluation methods to effectively assess their performance in long-context understanding. In this paper, we present \textbf{LC-Eval}, a bilingual, multi-task evaluation benchmark designed to evaluate long-context understanding in English and Arabic, targeting context lengths ranging from 4k to over 128k tokens. LC-Eval introduces four novel and challenging tasks: multi-document question answering, bilingual question answering, claim verification within a paragraph, and multiple-choice questions based on long contexts. These tasks are designed to assess LLMs' abilities in deep reasoning, document comprehension, information tracing, and bilingual information extraction and understanding. The benchmark includes datasets in both Arabic and English for each task, allowing for a comparative analysis of their performance across different text genres. Evaluations were conducted on both open-weight and closed LLMs, with results indicating that LC-Eval presents significant challenges. Even high-performing models, such as GPT-4o, struggled with certain tasks, highlighting the complexity and rigor of the benchmark.
Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は、拡張コンテキストの処理や理解など、高度な機能を示している。これらの創発的能力は、長期的理解においてその性能を効果的に評価するために厳密な評価方法を必要とする。本稿では,4kから128k以上のトークンを対象に,英語とアラビア語の長文理解を評価するために設計されたバイリンガル・マルチタスク評価ベンチマークである \textbf{LC-Eval} を提案する。 LC-Evalは、多文書質問応答、バイリンガル質問応答、段落内のクレーム検証、長い文脈に基づく複数選択質問の4つの斬新で挑戦的なタスクを導入している。これらのタスクは、深い推論、文書理解、情報追跡、バイリンガル情報抽出および理解におけるLLMの能力を評価するように設計されている。このベンチマークには、各タスクのアラビア語と英語の両方のデータセットが含まれており、異なるテキストジャンルにわたるパフォーマンスの比較分析を可能にする。 LC-Eval はオープンウェイトおよびクローズド LLM の両方で評価を行い,LC-Eval が重要な課題であることを示した。 GPT-4oのような高性能なモデルでさえ、ベンチマークの複雑さと厳密さを強調し、特定のタスクに苦労した。

関連論文リスト

NeedleChain: Measuring Intact Long-Context Reasoning Capability of Large Language Models [7.134358758293254]
Needle-in-a-Haystackベンチマークは、長期文脈(LC)を理解するLarge Language Models(LLM)能力を評価するために広く利用されている。 GPT-4oのような最先端モデルでさえ、クエリ関連10文のみからなる与えられたコンテキストをそのまま組み込むのに苦労していることを実証する。我々は新しいベンチマークである textbfNeedleChain を導入し、そのコンテキストはクエリ関連情報から成り立っている。
論文参考訳（メタデータ） (2025-07-30T06:29:50Z)
PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
論文参考訳（メタデータ） (2025-04-25T15:39:04Z)
On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation [12.848952248427977]
大規模言語モデル(LLM)を用いた検索言語拡張生成(RAG)は,多言語質問応答タスクにおいて高い性能を示した。多言語RAGでは、検索されたパスは、ユーザが入力したクエリ以外の言語で書くことができる。
論文参考訳（メタデータ） (2025-04-01T09:55:23Z)
XIFBench: Evaluating Large Language Models on Multilingual Instruction Following [59.549015333755186]
大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。既存の評価には、様々な言語的文脈におけるきめ細かい制約分析が欠如している。我々は,LLMの多言語命令追従能力を評価するための総合ベンチマークであるXIFBenchを紹介する。
論文参考訳（メタデータ） (2025-03-10T17:07:52Z)
On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
論文参考訳（メタデータ） (2024-11-11T17:00:59Z)
ProverbEval: Exploring LLM Evaluation Challenges for Low-resource Language Understanding [15.93642619347214]
低リソース言語のためのLLM評価ベンチマークであるprovrbevalを導入する。ネイティブ言語のpromrb記述はpromrb生成のようなタスクを大幅に改善する。単言語評価は、生成タスクにおける言語間比較よりも一貫して優れていた。
論文参考訳（メタデータ） (2024-11-07T06:34:48Z)
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。また,LLM支援型評価器であるInsEvalを提案する。
論文参考訳（メタデータ） (2024-10-01T09:10:00Z)
Benchmarking Large Language Models on CFLUE -- A Chinese Financial Language Understanding Evaluation Dataset [7.954348293179786]
様々な次元にわたる大規模言語モデル(LLM)の能力を評価するためのベンチマークであるCFLUEを提案する。知識評価では、38K以上の質問と関連する解法の説明からなる。アプリケーションアセスメントでは、テキスト分類、機械翻訳、関係抽出、読解、テキスト生成など、異なるNLPタスクのグループにまたがる16K以上のテストインスタンスが特徴である。
論文参考訳（メタデータ） (2024-05-17T05:03:40Z)
NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens [63.7488938083696]
我々は,大規模言語モデル(LLM)を複雑で拡張された物語で評価するためのベンチマークであるNovellQAを紹介する。 NovelQAは、複雑さ、長さ、物語のコヒーレンスをユニークなブレンドとして提供し、深いテキスト理解を評価するのに理想的なツールである。ノベルQAにおける長文LLMの評価は,長文LLMの長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文長文の長文長文長文長文長文の長文
論文参考訳（メタデータ） (2024-03-18T17:32:32Z)
BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。 5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
論文参考訳（メタデータ） (2023-09-23T11:36:15Z)
L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
論文参考訳（メタデータ） (2023-07-20T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。