論文の概要: AnchiBERT: A Pre-Trained Model for Ancient ChineseLanguage Understanding and Generation

• arxiv url: http://arxiv.org/abs/2009.11473v2
• Date: Wed, 21 Apr 2021 03:42:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:50:24.117316
• Title: AnchiBERT: A Pre-Trained Model for Ancient ChineseLanguage Understanding and Generation
• Title（参考訳）: AnchiBERT:古代中国の言語理解と生成のための事前学習モデル
• Authors: Huishuang Tian, Kexin Yang, Dayiheng Liu, Jiancheng Lv
• Abstract要約: AnchiBERTは、BERTのアーキテクチャに基づいた事前訓練された言語モデルである。 詩分類を含む言語理解タスクと生成タスクの両面でAnchiBERTを評価した。
• 参考スコア（独自算出の注目度）: 22.08457469951396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ancient Chinese is the essence of Chinese culture. There are several natural language processing tasks of ancient Chinese domain, such as ancient-modern Chinese translation, poem generation, and couplet generation. Previous studies usually use the supervised models which deeply rely on parallel data. However, it is difficult to obtain large-scale parallel data of ancient Chinese. In order to make full use of the more easily available monolingual ancient Chinese corpora, we release AnchiBERT, a pre-trained language model based on the architecture of BERT, which is trained on large-scale ancient Chinese corpora. We evaluate AnchiBERT on both language understanding and generation tasks, including poem classification, ancient-modern Chinese translation, poem generation, and couplet generation. The experimental results show that AnchiBERT outperforms BERT as well as the non-pretrained models and achieves state-of-the-art results in all cases.
• Abstract（参考訳）: 古代中国は中国文化の本質である。 古代中国語の翻訳、詩の生成、カプレット世代など、古代中国語の自然言語処理のタスクはいくつかある。 従来の研究は通常、並列データに深く依存する教師付きモデルを用いていた。 しかし、古代中国の大規模並列データを得ることは困難である。 より容易に利用可能なモノリンガルな中国語コーパスをフル活用するために,大規模な中国語コーパスをトレーニングしたBERTアーキテクチャに基づく事前学習型言語モデルAnchiBERTをリリースする。 詩の分類,古現代中国語訳,詩生成,カプレット生成など,言語理解と生成課題の両方について,アンキバートを評価した。 実験の結果, AnchiBERT は非事前学習モデルと同様に BERT よりも優れており, あらゆるケースで最先端の結果が得られた。

関連論文リスト

• When Does Classical Chinese Help? Quantifying Cross-Lingual Transfer in Hanja and Kanbun [48.07219104902607]
  古典中国語から漢語・漢文への言語間移動可能性の仮定を疑問視する。 実験の結果,漢文で書かれた古代朝鮮語文書の言語モデル性能に対する古典中国語データセットの影響は最小限であった。
  論文  参考訳（メタデータ） (2024-11-07T15:59:54Z)
• Puzzle Pieces Picker: Deciphering Ancient Chinese Characters with Radical Reconstruction [73.26364649572237]
  Oracle Bone Inscriptionsは、世界で最も古い書式である。 多くのOracle Bone Inscriptions (OBI) は未解読のままであり、今日の古生物学におけるグローバルな課題の1つとなっている。 本稿では, 急進的再構成によってこれらの謎的文字を解読する新しい手法, Puzzle Pieces Picker (P$3$) を提案する。
  論文  参考訳（メタデータ） (2024-06-05T07:34:39Z)
• Towards Effective Ancient Chinese Translation: Dataset, Model, and Evaluation [28.930640246972516]
  本稿では,古漢訳のためのエリヤを提案する。 データセットの観点から、さまざまな情報源から古代中国の資料を収集し、清浄し、分類する。 モデルの観点からは,古代中国語を指向したEryaトレーニング手法を考案する。
  論文  参考訳（メタデータ） (2023-08-01T02:43:27Z)
• GujiBERT and GujiGPT: Construction of Intelligent Information Processing Foundation Language Models for Ancient Texts [11.289265479095956]
  GujiBERTとGujiGPT言語モデルは、古代のテキストの知的情報処理に特化した基礎モデルである。 これらのモデルは、単純化された漢字と伝統的な漢字の両方を含む広範なデータセットで訓練されている。 これらのモデルは、公開データセットを使用して、さまざまなバリデーションタスクで例外的なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2023-07-11T15:44:01Z)
• Shuo Wen Jie Zi: Rethinking Dictionaries and Glyphs for Chinese Language Pre-training [50.100992353488174]
  辞書知識と漢字の構造を持つ中国語PLMの意味理解能力を高める新しい学習パラダイムであるCDBERTを紹介する。 我々はCDBERTの2つの中核モジュールを Shuowen と Jiezi と名付け、そこで Shuowen は中国語辞書から最も適切な意味を取り出す過程を指す。 本パラダイムは,従来の中国語PLMのタスク間における一貫した改善を実証する。
  論文  参考訳（メタデータ） (2023-05-30T05:48:36Z)
• TransCouplet:Transformer based Chinese Couplet Generation [1.084959821967413]
  漢詩は、古代中国語との複雑な文法からなる詩の形式である。 本稿では,変換器を用いたシーケンス・ツー・シーケンス・カップル生成モデルを提案する。 また,Glyph,PinYin,Part-of-Speechのタグ付けを2つの文法規則に基づいて評価した。
  論文  参考訳（メタデータ） (2021-12-03T04:34:48Z)
• LOT: A Benchmark for Evaluating Chinese Long Text Understanding and Generation [49.57366550980932]
  ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。 中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。 我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
  論文  参考訳（メタデータ） (2021-08-30T02:38:32Z)
• ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information [32.70080326854314]
  我々は,漢字のグリフとピニイン情報を事前学習に組み込んだ ChineseBERT を提案する。 提案した ChineseBERT モデルは,トレーニングステップの少ないベースラインモデルよりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-06-30T13:06:00Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Generating Major Types of Chinese Classical Poetry in a Uniformed Framework [88.57587722069239]
  GPT-2に基づく漢詩の主要なタイプを生成するフレームワークを提案する。 予備的な結果は、この強化されたモデルが、形も内容も質の高い大型漢詩を生成できることを示している。
  論文  参考訳（メタデータ） (2020-03-13T14:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。