論文の概要: From BERT to LLMs: Comparing and Understanding Chinese Classifier Prediction in Language Models

• arxiv url: http://arxiv.org/abs/2508.18253v1
• Date: Mon, 25 Aug 2025 17:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.900514
• Title: From BERT to LLMs: Comparing and Understanding Chinese Classifier Prediction in Language Models
• Title（参考訳）: BERTからLLMへ:言語モデルにおける中国語分類器の予測の比較と理解
• Authors: ZiqiZhang, Jianfei Ma, Emmanuele Chersoni, Jieshun You, Zhaoxin Feng,
• Abstract要約: 我々は,最も人気のあるLarge Language Models (LLMs) が,中国語分類器の適切な知識を持っているかどうかを検討する。 LLMは細調整でもBERTよりも優れていた。 予想通り、この予測は以下の名詞に関する情報から大きな恩恵を受けており、BERTのような双方向の注意機構を持つモデルの利点も説明できる。
• 参考スコア（独自算出の注目度）: 15.180712786113192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classifiers are an important and defining feature of the Chinese language, and their correct prediction is key to numerous educational applications. Yet, whether the most popular Large Language Models (LLMs) possess proper knowledge the Chinese classifiers is an issue that has largely remain unexplored in the Natural Language Processing (NLP) literature. To address such a question, we employ various masking strategies to evaluate the LLMs' intrinsic ability, the contribution of different sentence elements, and the working of the attention mechanisms during prediction. Besides, we explore fine-tuning for LLMs to enhance the classifier performance. Our findings reveal that LLMs perform worse than BERT, even with fine-tuning. The prediction, as expected, greatly benefits from the information about the following noun, which also explains the advantage of models with a bidirectional attention mechanism such as BERT.
• Abstract（参考訳）: 分類器は中国語の重要な特徴であり、その正しい予測は多くの教育応用の鍵となる。 しかし、最も人気のあるLarge Language Models (LLMs) が適切な知識を持っているかどうかは、中国語の分類器は、自然言語処理(NLP)の文献でほとんど解明されていない問題である。 このような問題に対処するために,我々は,LLMの本質的な能力,異なる文要素の寄与,および予測中の注意機構の動作を評価するために,様々なマスキング戦略を採用している。 さらに,LLMの微調整による分類器の性能向上についても検討する。 LLMは細調整でもBERTよりも優れていた。 予想通り、この予測は以下の名詞に関する情報から大きな恩恵を受けており、BERTのような双方向の注意機構を持つモデルの利点も説明できる。

関連論文リスト

• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Explicit Learning and the LLM in Machine Translation [20.630120942837564]
  この本は、LLMが説明を用いて新しい言語を学ぶ能力について探求している。 これを研究するために、我々は英語と構築言語間の実験を設計する。
  論文  参考訳（メタデータ） (2025-03-12T14:57:08Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Machine Translation with Large Language Models: Prompt Engineering for Persian, English, and Russian Directions [0.0]
  生成型大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、例外的な習熟性を示している。 我々は,ペルシャ語,英語,ロシア語の言語間組み合わせに着目した2つの普及促進手法とその組み合わせについて調査を行った。
  論文  参考訳（メタデータ） (2024-01-16T15:16:34Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。