論文の概要: Thai Winograd Schemas: A Benchmark for Thai Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2405.18375v1
• Date: Tue, 28 May 2024 17:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:30:42.152205
• Title: Thai Winograd Schemas: A Benchmark for Thai Commonsense Reasoning
• Title（参考訳）: タイのWinograd Schemas:タイのコモンセンス推論のベンチマーク
• Authors: Phakphum Artkaew,
• Abstract要約: 本研究は、タイ語の文脈における常識推論能力を評価するために設計された新しいデータセットである、タイ語におけるウィノグラードのコレクションを紹介する。 我々は,このベンチマークで人気の高い大規模言語モデルの性能を評価し,その強み,限界を明らかにし,現在の最先端技術に対する洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense reasoning is one of the important aspect of natural language understanding, with several benchmarks developed to evaluate it. However, only a few of these benchmarks are available in languages other than English. Developing parallel benchmarks facilitates cross-lingual evaluation, enabling a better understanding of different languages. This research introduces a collection of Winograd Schemas in Thai, a novel dataset designed to evaluate commonsense reasoning capabilities in the context of the Thai language. Through a methodology involving native speakers, professional translators, and thorough validation, the schemas aim to closely reflect Thai language nuances, idioms, and cultural references while maintaining ambiguity and commonsense challenges. We evaluate the performance of popular large language models on this benchmark, revealing their strengths, limitations, and providing insights into the current state-of-the-art. Results indicate that while models like GPT-4 and Claude-3-Opus achieve high accuracy in English, their performance significantly drops in Thai, highlighting the need for further advancements in multilingual commonsense reasoning.
• Abstract（参考訳）: コモンセンス推論は、自然言語理解の重要な側面の一つであり、それを評価するためにいくつかのベンチマークが開発された。 しかし、英語以外の言語では、これらのベンチマークのいくつかしか利用できない。 並列ベンチマークの開発は言語間評価を促進し、さまざまな言語の理解を深める。 本研究は、タイ語の文脈における常識推論能力を評価するために設計された新しいデータセットである、タイ語におけるウィノグラードスキーマのコレクションを紹介する。 ネイティブ話者、プロの翻訳者、徹底的な検証を含む方法論を通じて、スキーマはあいまいさと常識的な課題を維持しながら、タイ語のニュアンス、イディオム、文化的な参照を深く反映することを目的としている。 我々は,このベンチマークで人気の高い大規模言語モデルの性能を評価し,その強み,限界を明らかにし,現在の最先端技術に対する洞察を提供する。 GPT-4やClaude-3-Opusのようなモデルは英語では精度が高いが、タイ語では性能が著しく低下し、多言語コモンセンス推論のさらなる進歩の必要性が浮かび上がっている。

関連論文リスト

• Representing the Under-Represented: Cultural and Core Capability Benchmarks for Developing Thai Large Language Models [8.746788828655356]
  大規模言語モデル(LLM)の急速な進歩は、堅牢な評価フレームワークの必要性を強調している。 タイ文化・言語情報ベンチマーク(ThaiCLI)とタイ文化・言語情報ベンチマーク(ThaiCLI)の2つの主要なベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T07:14:37Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Saving the legacy of Hero Ibash: Evaluating Four Language Models for Aminoacian [0.8158530638728501]
  本研究は,未探索のアミノアシアン語における4つの最先端言語モデルを評価する。 テキスト生成、セマンティックコヒーレンス、文脈理解における適応性、有効性、限界を精査する。
  論文  参考訳（メタデータ） (2024-02-28T07:22:13Z)
• Advancing the Evaluation of Traditional Chinese Language Models: Towards a Comprehensive Benchmark Suite [17.764840326809797]
  本稿では,既存の英語データセットを活用し,中国語の言語モデルを評価するための新しいベンチマークセットを提案する。 これらのベンチマークには、コンテキスト質問、要約、分類、テーブル理解など、幅広いタスクが含まれている。 本稿では,これらのベンチマークを用いて,GPT-3.5,台湾-LLaMa-v1.0,モデル7-Cの性能評価を行った。
  論文  参考訳（メタデータ） (2023-09-15T14:52:23Z)
• A Corpus for Sentence-level Subjectivity Detection on English News Articles [49.49218203204942]
  我々はこのガイドラインを用いて、議論を呼んだ話題に関する英ニュース記事から抽出した638の目的語と411の主観的な文からなるNewsSD-ENGを収集する。 我々のコーパスは、語彙や機械翻訳といった言語固有のツールに頼ることなく、英語で主観的検出を行う方法を舗装している。
  論文  参考訳（メタデータ） (2023-05-29T11:54:50Z)
• Separating form and meaning: Using self-consistency to quantify task understanding across multiple senses [14.784624121891328]
  大規模言語モデル(LLM)を評価するための新しいパラダイムを提案する。 モデルの正確性ではなく,モデル自体によって生成される複数の感覚の一貫性を評価することで,理解度を測定する。 我々のアプローチは、英語以外の言語で静的評価コーパスを必要としない。
  論文  参考訳（メタデータ） (2023-05-19T13:23:51Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。