論文の概要: Benchmarking Chinese Commonsense Reasoning of LLMs: From Chinese-Specifics to Reasoning-Memorization Correlations

• arxiv url: http://arxiv.org/abs/2403.14112v2
• Date: Fri, 19 Apr 2024 06:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 19:18:16.923240
• Title: Benchmarking Chinese Commonsense Reasoning of LLMs: From Chinese-Specifics to Reasoning-Memorization Correlations
• Title（参考訳）: LLMの中国語コモンセンス推論のベンチマーク:中国特色からリソン化・記憶相関へ
• Authors: Jiaxing Sun, Weiquan Huang, Jiang Wu, Chenya Gu, Wei Li, Songyang Zhang, Hang Yan, Conghui He,
• Abstract要約: CHARMは、中国語で大規模言語モデル(LLM)の常識推論能力を評価するための、網羅的で詳細なベンチマークである。 我々はCHARMで7つの英語と12の中国語のLLMを評価した。 一部のLLMは中国の常識を覚えることに苦労し、推論能力に影響を及ぼす一方、同様のパフォーマンスにもかかわらず推論の違いを示す。
• 参考スコア（独自算出の注目度）: 34.07537926291133
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce CHARM, the first benchmark for comprehensively and in-depth evaluating the commonsense reasoning ability of large language models (LLMs) in Chinese, which covers both globally known and Chinese-specific commonsense. We evaluated 7 English and 12 Chinese-oriented LLMs on CHARM, employing 5 representative prompt strategies for improving LLMs' reasoning ability, such as Chain-of-Thought. Our findings indicate that the LLM's language orientation and the task's domain influence the effectiveness of the prompt strategy, which enriches previous research findings. We built closely-interconnected reasoning and memorization tasks, and found that some LLMs struggle with memorizing Chinese commonsense, affecting their reasoning ability, while others show differences in reasoning despite similar memorization performance. We also evaluated the LLMs' memorization-independent reasoning abilities and analyzed the typical errors. Our study precisely identified the LLMs' strengths and weaknesses, providing the clear direction for optimization. It can also serve as a reference for studies in other fields. We will release CHARM at https://github.com/opendatalab/CHARM .
• Abstract（参考訳）: 我々は,中国における大規模言語モデル(LLM)の常識推論能力を評価するための,包括的かつ詳細なベンチマークであるCHARMを紹介した。 我々は,CHARM上での7つの英語と12の中国語のLLMを評価し,Chain-of-ThoughtなどのLLMの推論能力向上のための5つの代表的なプロンプト戦略を採用した。 本研究は,LLMの言語指向性とタスク領域が,従来の研究成果に富む即時戦略の有効性に影響を与えることを示唆するものである。 我々は、密接な相互接続型推論と暗記タスクを構築し、LLMが中国語の常識を覚えるのに苦労し、推論能力に影響を及ぼすものもあれば、類似の暗記性能にもかかわらず推論の違いを示すものもあることを見出した。 また, LLMの記憶に依存しない推論能力を評価し, 典型的誤りを解析した。 本研究は, LLMの強度と弱さを正確に把握し, 最適化の方向性を明らかにした。 他の分野の研究の参考となることもある。 私たちはCHARMをhttps://github.com/opendatalab/CHARMでリリースします。

関連論文リスト

• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Measuring Taiwanese Mandarin Language Understanding [24.581360653015423]
  大規模言語モデル(LLM)における高度な知識と推論能力を評価するための総合評価スーツであるTMLUを提案する。 TMLUは、社会科学、STEM、人文科学、台湾固有のコンテンツなど、中学から専門レベルまで、37の被験者からなる。
  論文  参考訳（メタデータ） (2024-03-29T13:56:21Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• On the (In)Effectiveness of Large Language Models for Chinese Text Correction [44.32102000125604]
  大規模言語モデル(LLM)は、人工知能コミュニティ全体を驚かせた。 本研究は,中国語のNLP課題である中国語のテキスト訂正に焦点を当てた。 LLMは、現在、中国語のテキスト訂正において、素晴らしいパフォーマンスと不満足な動作の両方を持っていることを実証的に見出した。
  論文  参考訳（メタデータ） (2023-07-18T06:48:52Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。