論文の概要: Benchmarking Chinese Knowledge Rectification in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.05806v1
• Date: Mon, 9 Sep 2024 17:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 13:46:22.170406
• Title: Benchmarking Chinese Knowledge Rectification in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける中国語知識の体系化のベンチマーク
• Authors: Tianhe Lu, Jizhan Fang, Yunzhi Yao, Xin Xu, Ningyu Zhang, Huajun Chen,
• Abstract要約: 本稿では,大言語モデルにおける中国語の知識を知識編集により修正するためのベンチマークを提案する。 我々は、古典的なテキスト、イディオム、Baidu Tieba Ruozhibaのコンテンツを含む、様々な情報源から7種類の知識を収集します。 このデータセットの分析を通して、中国語を習得する上で現在LLMが直面している課題を明らかにする。
• 参考スコア（独自算出の注目度）: 43.9841600678381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) exhibit remarkable generative capabilities, they are not without flaws, particularly in the form of hallucinations. This issue is even more pronounced when LLMs are applied to specific languages and domains. For example, LLMs may generate nonsense information when handling Chinese ancient poetry, proverbs, or idioms, owing to the lack of specific knowledge. To this end, this paper introduces a benchmark for rectifying Chinese knowledge in LLMs via knowledge editing. Specifically, we introduce a new Chinese dataset, CKnowEdit, by collecting seven type of knowledge from various sources, including classical texts, idioms, and content from Baidu Tieba Ruozhiba, thereby accounting for the unique polyphony, antithesis, and logical constructs inherent in the Chinese language. Through the analysis of this dataset, we uncover the challenges faced by current LLMs in mastering Chinese. Furthermore, our evaluation of state-of-the-art knowledge editing techniques on this dataset unveil the substantial scope for advancement in the rectification of Chinese knowledge. Code and dataset are available at https://github.com/zjunlp/EasyEdit.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、顕著な生成能力を示すが、特に幻覚の形で、欠陥がないわけではない。 LLMが特定の言語やドメインに適用されると、この問題はさらに顕著になる。 例えば、LLMは、特定の知識が欠如しているため、中国の古代詩や格言、イディオムを扱う際に、ナンセンスな情報を生成することがある。 そこで本稿では,LLMにおける中国語の知識を知識編集によって修正するためのベンチマークを提案する。 具体的には,古典的テキストやイディオム,Baidu Tieba Ruozhiba のコンテンツなど,さまざまな資料から 7 種類の知識を収集し,中国語固有のポリフォニー,アンチテーゼ,論理的構造を記述した新しい中国語データセット CKnowEdit を導入する。 このデータセットの分析を通して、中国語を習得する上で現在LLMが直面している課題を明らかにする。 さらに,本データセットを用いた知識編集技術の評価では,中国の知識の正当性向上のかなりの範囲が明らかにされている。 コードとデータセットはhttps://github.com/zjunlp/EasyEdit.comで入手できる。

関連論文リスト

• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge [16.923674220979]
  本研究では,多言語言語モデル(ML-LM)が事実知識をどのように獲得し,表現するかを検討する。 ML-LMにおける事実の獲得と表現の3つのパターンを識別する。 本研究は,言語間における一貫した事実知識の維持という課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-03-08T10:09:57Z)
• Retrieval-augmented Multilingual Knowledge Editing [81.6690436581947]
  LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。 知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。 本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:08:58Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca [23.00353889531171]
  中国語テキストの理解・生成機能を備えたLLaMAの拡張手法を提案する。 我々は、中国語データを用いた二次事前学習を取り入れ、中国語の命令データセットでモデルを微調整する。 C-Evalデータセットの結果は、我々の数倍の大きさのモデル間で競合性能が得られた。
  論文  参考訳（メタデータ） (2023-04-17T11:39:53Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• Intrinsic Knowledge Evaluation on Chinese Language Models [5.293979881130493]
  本稿では, 統語的, 意味的, 常識的, 事実的知識の4つの課題について, 合計39,308ドルの質問に集約する。 我々の調査と知識データは、事前訓練された中国のLMを評価するための信頼性の高いベンチマークであることが証明されている。
  論文  参考訳（メタデータ） (2020-11-29T04:34:39Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。