論文の概要: CKnowEdit: A New Chinese Knowledge Editing Dataset for Linguistics, Facts, and Logic Error Correction in LLMs

• arxiv url: http://arxiv.org/abs/2409.05806v3
• Date: Mon, 24 Feb 2025 11:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 12:07:09.270914
• Title: CKnowEdit: A New Chinese Knowledge Editing Dataset for Linguistics, Facts, and Logic Error Correction in LLMs
• Title（参考訳）: CKnowEdit:LLMにおける言語学、ファクト、論理エラー訂正のための新しい中国語知識編集データセット
• Authors: Jizhan Fang, Tianhe Lu, Yunzhi Yao, Ziyan Jiang, Xin Xu, Ningyu Zhang, Huajun Chen,
• Abstract要約: 大規模言語モデル(LLM)における言語的・事実的・論理的誤りの訂正を目的とした,中国初の知識編集データセットであるCKnowEditを紹介する。 我々は、古典的なテキスト、イディオム、Baidu Tieba Ruozhibaのコンテンツを含む、幅広い情報源から7種類の知識を収集します。 このデータセットを解析することにより、中国語を習得する上で、現在のLLMが直面する課題を強調します。
• 参考スコア（独自算出の注目度）: 43.13805428301468
• License:
• Abstract: Chinese, as a linguistic system rich in depth and complexity, is characterized by distinctive elements such as ancient poetry, proverbs, idioms, and other cultural constructs. However, current Large Language Models (LLMs) face limitations in these specialized domains, highlighting the need for the development of comprehensive datasets that can assess, continuously update, and progressively improve these culturally-grounded linguistic competencies through targeted training optimizations. To address this gap, we introduce CKnowEdit, the first-ever Chinese knowledge editing dataset designed to correct linguistic, factual, and logical errors in LLMs. We collect seven types of knowledge from a wide range of sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, taking into account the unique polyphony, antithesis, and logical structures inherent in the Chinese language. By analyzing this dataset, we highlight the challenges current LLMs face in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques reveals opportunities to advance the correction of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.
• Abstract（参考訳）: 中国語は、深さと複雑さに富んだ言語体系であり、古代の詩、証明、イディオム、その他の文化的構成物などの特徴的要素が特徴である。 しかしながら、現在のLarge Language Models (LLMs) は、これらの専門分野において制限に直面しており、ターゲットとなるトレーニング最適化を通じて、これらの文化的に根ざした言語能力を評価し、継続的に更新し、段階的に改善できる包括的なデータセットの開発の必要性を強調している。 このギャップに対処するため,中国初の知識編集データセットであるCKnowEditを導入し,LLMの言語的,事実的,論理的エラーを補正する。 我々は,古典的テキスト,イディオム,Baidu Tieba Ruozhibaのコンテンツなど,幅広い資料から7種類の知識を収集し,中国語固有の多声性,アンチテーゼ,論理構造を考慮に入れた。 このデータセットを解析することにより、中国語を習得する上で、現在のLLMが直面する課題を強調します。 さらに,最新の知識編集技術の評価は,中国の知識の訂正を前進させる機会を明らかにしている。 コードとデータセットはhttps://github.com/zjunlp/EasyEdit.comで入手できる。

関連論文リスト

• Assessing Language Comprehension in Large Language Models Using Construction Grammar [3.0906699069248806]
  構築文法(CxG)は、構築(Cxns)として知られる言語要素によって捉えられる意味に関する洞察を提供する。 これらのデータセットは、事前学習データには現れないような例を含むように慎重に構築されているが、人間が理解するのは直感的で容易である。 我々の実験は、LLMが8つのユニークなCxnsを通して伝達する意味についての理解を人間と対比することで、下流の自然言語推論と推論タスクに焦点を当てた。
  論文  参考訳（メタデータ） (2025-01-08T18:15:10Z)
• Cross-Lingual Multi-Hop Knowledge Editing [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Knowledge Based Multilingual Language Model [44.70205282863062]
  知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。 我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。 生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
  論文  参考訳（メタデータ） (2021-11-22T02:56:04Z)
• Intrinsic Knowledge Evaluation on Chinese Language Models [5.293979881130493]
  本稿では, 統語的, 意味的, 常識的, 事実的知識の4つの課題について, 合計39,308ドルの質問に集約する。 我々の調査と知識データは、事前訓練された中国のLMを評価するための信頼性の高いベンチマークであることが証明されている。
  論文  参考訳（メタデータ） (2020-11-29T04:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。