論文の概要: SailCompass: Towards Reproducible and Robust Evaluation for Southeast Asian Languages

• arxiv url: http://arxiv.org/abs/2412.01186v1
• Date: Mon, 02 Dec 2024 06:42:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:02.479305
• Title: SailCompass: Towards Reproducible and Robust Evaluation for Southeast Asian Languages
• Title（参考訳）: SailCompass:東南アジア言語における再現性とロバストな評価を目指して
• Authors: Jia Guo, Longxu Dou, Guangtao Zeng, Stanley Kok, Wei Lu, Qian Liu,
• Abstract要約: 東南アジア言語(SEA)におけるLarge Language Models(LLM)の評価のための再現可能で堅牢な評価ベンチマークであるSailを紹介する。 Sailは3つの主要なSEA言語を含み、14のデータセットを含む8つの主要なタスクが3つのタスクタイプ(生成、多重選択、分類)をカバーする。
• 参考スコア（独自算出の注目度）: 28.850331326601886
• License:
• Abstract: In this paper, we introduce SailCompass, a reproducible and robust evaluation benchmark for assessing Large Language Models (LLMs) on Southeast Asian Languages (SEA). SailCompass encompasses three main SEA languages, eight primary tasks including 14 datasets covering three task types (generation, multiple-choice questions, and classification). To improve the robustness of the evaluation approach, we explore different prompt configurations for multiple-choice questions and leverage calibrations to improve the faithfulness of classification tasks. With SailCompass, we derive the following findings: (1) SEA-specialized LLMs still outperform general LLMs, although the gap has narrowed; (2) A balanced language distribution is important for developing better SEA-specialized LLMs; (3) Advanced prompting techniques (e.g., calibration, perplexity-based ranking) are necessary to better utilize LLMs. All datasets and evaluation scripts are public.
• Abstract（参考訳）: 本稿では,東南アジア言語 (SEA) におけるLarge Language Models (LLM) の評価のための再現可能で堅牢な評価ベンチマークであるSailCompassを紹介する。 SailCompassは3つの主要なSEA言語を含み、8つの主要なタスクは3つのタスクタイプ(生成、複数選択、分類)をカバーする14のデータセットを含む。 評価手法のロバスト性を改善するため,複数項目の質問に対して異なるプロンプト構成を探索し,キャリブレーションを活用して分類タスクの忠実性を向上させる。 SailCompass では,(1) SEA-specialized LLM が一般 LLM より優れているが,そのギャップは狭くなっている; (2) SEA-specialized LLM のより良い開発にはバランスの取れた言語分布が重要である;(3) 高度なプロンプト技術(例えば,キャリブレーション,パープレキシティベースランキング)が,LCM をよりよく活用するために必要である。 すべてのデータセットと評価スクリプトは公開されています。

関連論文リスト

• ProverbEval: Exploring LLM Evaluation Challenges for Low-resource Language Understanding [15.93642619347214]
  ProverbEvalは,証明に基づく低リソース言語の評価ベンチマークである。 様々なLCMをベンチマークし、ベンチマークプロセスにおける変数を生成する要因を探索する。 我々は、選択の順序、プロンプト言語の選択、タスクの可変性、生成タスクに特別な注意を払わなければならないと論じている。
  論文  参考訳（メタデータ） (2024-11-07T06:34:48Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
  大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。 この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。 我々は、支配的言語と非支配的言語との間の固有の不均衡を報酬信号として活用する、$textitLanguage Im Balance Driven Rewarding$を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:32:05Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks [12.665447518524187]
  本研究の目的は、同一の多言語データセットで比較することで、SoTA LLMの非英語能力の徹底的な評価を行うことである。 私たちのベンチマークは、低リソースのアフリカ言語を含む83の言語をカバーする22のデータセットで構成されています。 また、データ汚染に関する研究を行い、複数のモデルが多言語評価ベンチマークで汚染される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-13T16:45:37Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。