論文の概要: CNeo-Bench: Diagnosing Large Language Models on Chinese Neologisms

• arxiv url: http://arxiv.org/abs/2608.28053v1
• Date: Fri, 28 Aug 2026 08:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.251688
• Title: CNeo-Bench: Diagnosing Large Language Models on Chinese Neologisms
• Title（参考訳）: CNeo-Bench:中国新生学における大規模言語モデル診断
• Abstract要約: 中国のネオロジズムは多様でユニークな言語機構を生かしている。 CNeo-Benchは、参照定義を伴う4,759個のネオロジズムのベンチマークである。 中国のネオロジズムは依然としてオープンな課題である。
• 参考スコア（独自算出の注目度）: 14.352437998435114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese neologisms exploit diverse and unique linguistic mechanisms, such as phonetic substitution (e.g., 886 for ``bye-bye'') and visual character decomposition that are rare in other languages. We introduce CNeo-Bench, a benchmark of 4,759 such neologisms with reference definitions, organized into five top-level categories and nine subcategories by the linguistic mechanism behind each expression. CNeo-Bench is paired with a two-tier evaluation framework that separates whether a model can describe a neologism from whether it can operate on its underlying mechanism. Evaluating 18 LLMs, we find that Chinese neologisms remain an open challenge; most models fall below 40\% on definition generation, and on several subcategories a systematic recognition-manipulation gap emerges: models describe neologisms correctly but, in source-form restoration tasks, substitute a semantic equivalent (paraphrase) for the source form rather than producing the source form itself. A few-shot analysis on 1,058 hard items shows that in-context examples can solve many difficult cases, but leave a noticeable portion of errors remaining, indicating challenges beyond prompting alone can address.
• Abstract（参考訳）: 中国の新語学は、音素置換(例: 886 for ``bye-bye'')や、他の言語では稀な視覚的文字分解など、多様でユニークな言語機構を利用する。 CNeo-Benchは、参照定義付き4,759のネオロジズムのベンチマークであり、各表現の背後にある言語メカニズムによって5つのトップレベルカテゴリと9つのサブカテゴリに分けられる。 CNeo-Benchは、2層評価フレームワークと組み合わせて、モデルがネオロジズムを記述できるかどうかを、基盤となるメカニズムで操作できるかどうかを区別する。 殆どのモデルは定義生成において40 %以下となり、いくつかのサブカテゴリでは、体系的な認識と操作のギャップが出現する: モデルはネオロジーを正しく記述するが、ソース形式の復元タスクでは、ソースフォーム自体を生成するのではなく、ソースフォームに意味論的等価(パラフレーズ)を代用する。 1,058のハードアイテムに関するいくつかのショット分析では、コンテキスト内サンプルは多くの難しいケースを解決できるが、エラーの顕著な部分を残している。

関連論文リスト

• Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models [3.2555924024638667]
  安全に整合した大きな言語モデルでは、現実の正確性に関係なくユーザの意見を肯定する傾向がある。 テキストbf38言語とテキストbf33トピックカテゴリを対象とする,テキストbfsix命令調整モデルのベンチマークを行う。
  論文  参考訳（メタデータ） (2026-06-07T04:50:40Z)
• Typologically-Informed Candidate Reranking for LLM-based Translation into Low-Resource Languages [1.0732935873226022]
  高資源言語で主に訓練された大規模な言語モデルは、支配的な類型パターンに対する体系的なバイアスを示す。 パラレルトレーニングデータやモデル再訓練を使わずに,言語型学を活用して翻訳品質を向上させるフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:22:30Z)
• Benchmarking Concept-Spilling Across Languages in LLMs [7.577675422356702]
  大規模言語モデル(LLM)は言語間の優れた能力を示すが、他の言語からの表現に対する体系的なバイアスを示すことが多い。 本稿では,言語間の多文語をモデルがどう扱うかを測定することで,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T19:28:26Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Joint Lemmatization and Morphological Tagging with LEMMING [127.91619168948502]
  本稿では,レマタイズとタグ付けを共同でモデル化するモジュール型対数線形モデルLEMMingを提案する。 金の標準タグとレマタでアノテートされたコーパスで訓練でき、形態辞書やアナライザに依存しない。
  論文  参考訳（メタデータ） (2024-05-28T16:01:19Z)
• NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms [19.863120275409393]
  我々は、いくつかの一般的な収集手法を用いて、近年のイングランドのネオロジズムの多様な資源を創出する。 我々は新語を含む文と新語を置き換えたほぼ同一の文とを既存の代用語と比較することにより,時間的ドリフトを分析する。 モデル性能は1つの新語が文中に導入されるとき、機械翻訳においてほぼ半減する。
  論文  参考訳（メタデータ） (2024-02-19T16:19:15Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Neural Baselines for Word Alignment [0.0]
  4つの言語対に対する教師なし単語アライメントのためのニューラルモデルの検討と評価を行った。 我々は、IBM-1と隠れマルコフモデルのニューラルバージョンが、個々のモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-28T07:51:03Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。