論文の概要: TLUE: A Tibetan Language Understanding Evaluation Benchmark

• arxiv url: http://arxiv.org/abs/2503.12051v3
• Date: Wed, 28 May 2025 16:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.448267
• Title: TLUE: A Tibetan Language Understanding Evaluation Benchmark
• Title（参考訳）: TLUE: チベット語理解評価ベンチマーク
• Authors: Fan Gao, Cheng Huang, Nyima Tashi, Xiangxiang Wang, Thupten Tsering, Ban Ma-bao, Renzeg Duojie, Gadeng Luosang, Rinchen Dongrub, Dorje Tashi, Hao Wang Xiao Feng, Yongbin Yu,
• Abstract要約: チベット語は700万人以上の人々が話しているが、大きな言語モデルの開発と評価は無視されている。 我々は,チベット語におけるLLMの能力を評価するための,最初の大規模ベンチマークであるTLUE(A Tibetan Language Understanding Evaluation Benchmark)を提案する。
• 参考スコア（独自算出の注目度）: 6.772873309388026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have made tremendous progress in recent years, but low-resource languages, such as Tibetan, remain significantly underrepresented in their evaluation. Despite Tibetan being spoken by over seven million people, it has largely been neglected in the development and assessment of LLMs. To address this gap, we present TLUE (A Tibetan Language Understanding Evaluation Benchmark), the first large-scale benchmark for assessing LLMs' capabilities in Tibetan. TLUE comprises two major components: (1) a comprehensive multi-task understanding benchmark spanning 5 domains and 67 subdomains, and (2) a safety benchmark covering 7 subdomains. We evaluate a diverse set of state-of-the-art LLMs. Experimental results demonstrate that most LLMs perform below the random baseline, highlighting the considerable challenges LLMs face in processing Tibetan, a low-resource language. TLUE provides an essential foundation for driving future research and progress in Tibetan language understanding and underscores the need for greater inclusivity in LLM development.
• Abstract（参考訳）: 大規模言語モデル (LLM) は近年大きな進歩を遂げているが、チベット語のような低リソース言語は評価において著しく過小評価されている。 チベット語は700万人以上の人々が話しているが、LLMの開発と評価は無視されている。 このギャップに対処するため,チベット語におけるLSMの能力を評価するための大規模なベンチマークであるTLUE(A Tibetan Language Understanding Evaluation Benchmark)を提案する。 TLUEは,(1)5ドメインと67サブドメインにまたがる総合マルチタスク理解ベンチマーク,(2)7サブドメインをカバーする安全ベンチマークの2つの主要コンポーネントから構成される。 我々は多種多様な最先端のLCMを評価した。 実験の結果,ほとんどのLLMはランダムベースライン以下で動作し,低リソース言語であるチベット語処理においてLLMが直面する課題を浮き彫りにしている。 TLUEは、チベット語理解における将来の研究と進歩を推進する上で不可欠な基盤を提供し、LLM開発におけるより大きな傾きの必要性を浮き彫りにしている。

関連論文リスト

• TurkBench: A Benchmark for Evaluating Turkish Large Language Models [0.0]
  TurkBenchは、トルコ語で生成する大規模言語モデルの能力を評価するために設計されたベンチマークである。 21の異なるサブタスクにまたがる8,151のデータサンプルを含んでいる。 多様なタスクと文化的に関連のあるデータは、研究者や開発者に対して、モデルを評価する貴重なツールを提供するだろう。
  論文  参考訳（メタデータ） (2026-01-11T18:28:23Z)
• ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models [4.615257892219717]
  生成モデルの語彙的理解と生成能力を評価するために, 様々な難易度を持つ8つのサブタスクからなるChiKhaPoを紹介した。 ChiKhaPoは既存のレキシコン、モノリンガルデータ、bitextをベースとして、2つのサブタスクで2700以上の言語をカバーする。
  論文  参考訳（メタデータ） (2025-10-19T16:55:20Z)
• Advancing Large Language Models for Tibetan with Curated Data and Continual Pre-Training [43.57169338795754]
  我々はこれまでで最大のチベット事前訓練コーパスを作成し、様々な情報源からデータを収集した。 キュレートされたデータを用いて,チベット語における生成能力を高めるために,多言語ベースモデルの事前/ポストトレーニングを継続する。 我々は、新しい高品質のチベットベンチマークを作成し、それらを既存の公開ベンチマークで補完する。
  論文  参考訳（メタデータ） (2025-07-12T08:54:05Z)
• MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
  MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。 我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
  論文  参考訳（メタデータ） (2025-06-24T09:53:00Z)
• mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks [11.996399504336624]
  我々は,大規模言語モデル(LLM)の性能を幅広いタスクで評価するための新しいベンチマークであるmSTEBを紹介する。 我々は,Gemini 2.0 Flash や GPT-4o (Audio) などの主要な LLM や Qwen 2 Audio や Gemma 3 27B といった最先端のオープンモデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-10T03:15:08Z)
• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [79.84059473102778]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• XIFBench: Evaluating Large Language Models on Multilingual Instruction Following [59.549015333755186]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。 既存の評価には、様々な言語的文脈におけるきめ細かい制約分析が欠如している。 我々は,LLMの多言語命令追従能力を評価するための総合ベンチマークであるXIFBenchを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T17:07:52Z)
• Exploring the Multilingual NLG Evaluation Abilities of LLM-Based Evaluators [38.681443695708786]
  本研究は,近年の10個のLLMの多言語評価性能を包括的に分析する。 参照応答をプロンプトから除外すると、様々な言語のパフォーマンスが向上することがわかった。 LLMに基づく評価器の多くは、低リソース言語よりも、高リソース言語における人間の判断と高い相関関係を示す。
  論文  参考訳（メタデータ） (2025-03-06T12:04:29Z)
• HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning [56.221060995324436]
  大規模言語モデル(LLM)は、常識推論において顕著な能力を示している。 これらのモデルは、本当に常識的知識を理解しているのか、あるいは単に表現パターンを記憶しているだけなのか? 11,200のケースからなる大規模バイリンガルベンチマークであるHellaSwag-Proを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T03:24:02Z)
• Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings [12.507989493130175]
  GPT-4, Llama 2 および Gemini は, 東南アジアの他の低リソース言語と比較して, 英語での有効性が評価されている。 GPT-4はLlama 2とGeminiを5つのプロンプト設定と全言語で上回ったことを示唆している。
  論文  参考訳（メタデータ） (2024-10-17T02:12:30Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Representing the Under-Represented: Cultural and Core Capability Benchmarks for Developing Thai Large Language Models [8.746788828655356]
  大規模言語モデル(LLM)の急速な進歩は、堅牢な評価フレームワークの必要性を強調している。 タイ文化・言語情報ベンチマーク(ThaiCLI)とタイ文化・言語情報ベンチマーク(ThaiCLI)の2つの主要なベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T07:14:37Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Measuring Taiwanese Mandarin Language Understanding [24.581360653015423]
  大規模言語モデル(LLM)における高度な知識と推論能力を評価するための総合評価スーツであるTMLUを提案する。 TMLUは、社会科学、STEM、人文科学、台湾固有のコンテンツなど、中学から専門レベルまで、37の被験者からなる。
  論文  参考訳（メタデータ） (2024-03-29T13:56:21Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks [12.665447518524187]
  本研究の目的は、同一の多言語データセットで比較することで、SoTA LLMの非英語能力の徹底的な評価を行うことである。 私たちのベンチマークは、低リソースのアフリカ言語を含む83の言語をカバーする22のデータセットで構成されています。 また、データ汚染に関する研究を行い、複数のモデルが多言語評価ベンチマークで汚染される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-13T16:45:37Z)
• BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP [17.362068473064717]
  大規模言語モデル(LLM)は、NLPにおいて最も重要なブレークスルーの1つである。 本稿では,ベンガル語での性能をベンチマークするために,LLMを総合的に評価するBenLLM-Evalを紹介する。 実験の結果、ベンガルのNLPタスクではゼロショットLLMは、現在のSOTA微調整モデルよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-09-22T20:29:34Z)
• ChatGPT MT: Competitive for High- (but not Low-) Resource Languages [62.178282377729566]
  大規模言語モデル(LLM)は、機械翻訳(MT)を含む様々な言語タスクの実行を暗黙的に学習する。 MTコスト分析とともに,204言語を拡張した最初の実験的な証拠を提示する。 分析の結果,ChatGPTの相対的翻訳能力を決定する上で,言語リソースレベルが最も重要な特徴であることが判明した。
  論文  参考訳（メタデータ） (2023-09-14T04:36:00Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)
• IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
  インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。 一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。 言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
  論文  参考訳（メタデータ） (2022-08-24T20:14:52Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• AfroMT: Pretraining Strategies and Reproducible Benchmarks for Translation of 8 African Languages [94.75849612191546]
  AfroMTは、広く話されている8つのアフリカ言語のための標準化され、クリーンで再現可能な機械翻訳ベンチマークである。 これらの言語の特徴を考慮に入れたシステム診断のための分析ツール群を開発した。 11言語での事前トレーニングでは,強いベースラインに対して最大2つのBLEUポイントのゲインが得られた。
  論文  参考訳（メタデータ） (2021-09-10T07:45:21Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。