Fugu-MT 論文翻訳(概要): CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM

論文の概要: CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM

arxiv url: http://arxiv.org/abs/2401.03512v3
Date: Wed, 20 Mar 2024 07:39:48 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 21:58:15.385635
Title: CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM
Title（参考訳）: CharPoet:token-free LLMに基づく中国の古典詩生成システム
Authors: Chengyue Yu, Lei Zang, Jiaotuan Wang, Chenyi Zhuang, Jinjie Gu,
Abstract要約: CharPoet(シャルポエ)は、中国の古典詩集である。トークンフリーアーキテクチャは文字単位のキャラクタ方式で生成し,文字数を正確に制御する。 CharPoetが0.96以上のフォーマット精度を実現し、Juge-GPT-2(0.91)とGPT-4(0.38)を上回った
参考スコア（独自算出の注目度）: 7.6361655389908965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic Chinese classical poetry generation has attracted much research interest, but achieving effective control over format and content simultaneously remains challenging. Traditional systems usually accept keywords as user inputs, resulting in limited control over content. Large language models (LLMs) improve content control by allowing unrestricted user instructions, but the token-by-token generation process frequently makes format errors. Motivated by this, we propose CharPoet, a Chinese classical poetry generation system based on token-free LLM, which provides effective control over both format and content. Our token-free architecture generates in a character-by-character manner, enabling precise control over the number of characters. Pruned from existing token-based LLMs, CharPoet inherits their pretrained capabilities and can generate poetry following instructions like "Write me a poem for my mother's birthday." CharPoet achieves format accuracy above 0.96, outperforming Jiuge-GPT-2 (0.91) and GPT-4 (0.38). In terms of content quality, CharPoet surpasses traditional systems including Jiuge, and is comparable to other LLMs. Our system is open source and available at https://modelscope.cn/models/CharPoet/CharPoet. A video demonstration of CharPoet is available at https://youtu.be/voZ25qEp3Dc.
Abstract（参考訳）: 漢詩の自動生成は研究の関心を惹きつけてきたが、形式や内容の効果的な制御を同時に達成することは依然として困難である。伝統的なシステムは、通常、キーワードをユーザー入力として受け入れ、コンテンツの制御が制限される。大規模言語モデル(LLM)は、制限のないユーザ命令を許容することで、コンテンツ制御を改善するが、トークン・バイ・トークン生成プロセスは、しばしばフォーマットエラーを発生させる。そこで我々は,トークンフリーLLMに基づく漢詩生成システムCharPoetを提案する。トークンフリーアーキテクチャは文字単位のキャラクタ方式で生成し,文字数を正確に制御する。既存のトークンベースの LLM から切り離され、CharPoet はその事前訓練された能力を継承し、「母の誕生日に詩を書きなさい」といった指示に従って詩を生成することができる。 CharPoetは、Juge-GPT-2 (0.91) と GPT-4 (0.38) を上回り、0.96以上のフォーマット精度を達成する。コンテンツ品質の面では、CharPoetはJugeを含む従来のシステムを超え、他のLLMに匹敵する。私たちのシステムはオープンソースで、https://modelscope.cn/models/CharPoet/CharPoetで利用可能です。 CharPoetのデモビデオはhttps://youtu.be/voZ25qEp3Dcで公開されている。

関連論文リスト

Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
視覚エンコーダとマルチモーダル大言語モデル(MLLM)の整合性に着目した既存手法そこで本研究では,テキストガイダンスを用いて視覚的トークンアライメントを言語レベルで促進する新しい手法であるParrotを紹介する。本手法は,多言語MMBenchおよびMMMB上での最先端性能を示すだけでなく,多モーダルタスクにも優れる。
論文参考訳（メタデータ） (2024-06-04T17:56:28Z)
Introducing Syllable Tokenization for Low-resource Languages: A Case Study with Swahili [29.252250069388687]
トークン化は、文字やサブワードに基づいて単語を分割することができ、言語の構造を最もよく表す単語埋め込みを生成する。そこで我々は,スワヒリ語に基づく音節トークン化手法を提案し,実験中心の手法を適用した。
論文参考訳（メタデータ） (2024-03-26T17:26:50Z)
AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。数学的推論とコモンセンス推論の実験を行う。
論文参考訳（メタデータ） (2023-11-22T17:24:21Z)
ByGPT5: End-to-End Style-conditioned Poetry Generation with Token-free Language Models [23.381986209234157]
そこで本研究では,韻律,韻律,韻律などの文体に規定された終末詩の生成について検討する。我々は、新しいトークンフリーデコーダのみの言語モデルであるBYGPT5の事前トレーニングに成功した。 ByGPT5は,mT5,BYT5,GPT-2,ChatGPTなどの他のモデルよりも優れ,パラメータ効率が良く,人間に好適な性能を示す。
論文参考訳（メタデータ） (2022-12-20T17:49:49Z)
Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing [17.975181293647697]
本稿では,コラボレーティブな詩文作成システムであるCoPoetを紹介する。ユーザのテキストの自動補完とは対照的に、CoPoetは所望のテキストの属性を指定するユーザ命令によって制御される。 15人のクラウドワーカーによる調査では、モナーキーから気候変動までさまざまなトピックについて、CoPoetを使って詩を書くことに成功した。
論文参考訳（メタデータ） (2022-10-25T00:07:10Z)
What do tokens know about their characters and how do they know it? [3.8254443661593633]
サブワードトークン化スキームを用いた事前学習型言語モデルは,文字レベルの情報を必要とする様々な言語タスクで成功することを示す。これらのモデルが文字レベル情報を強固にエンコードし、一般に、より大きなモデルがそのタスクにおいてより優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2022-06-06T13:27:26Z)
Chinese Traditional Poetry Generating System Based on Deep Learning [0.0]
本稿では,ディープラーニング技術に基づく漢詩の自動生成手法を提案する。それぞれの詩からキーワードを抽出し、それらを前の文章と一致させて、その詩を主題に適合させる。ユーザが文章の段落を入力すると、そのテーマを取得し、文によって詩文を生成する。
論文参考訳（メタデータ） (2021-10-24T02:43:03Z)
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
論文参考訳（メタデータ） (2021-06-23T22:24:14Z)
CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
論文参考訳（メタデータ） (2021-06-03T16:49:03Z)
SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
論文参考訳（メタデータ） (2021-06-01T11:20:02Z)
Generating Major Types of Chinese Classical Poetry in a Uniformed Framework [88.57587722069239]
GPT-2に基づく漢詩の主要なタイプを生成するフレームワークを提案する。予備的な結果は、この強化されたモデルが、形も内容も質の高い大型漢詩を生成できることを示している。
論文参考訳（メタデータ） (2020-03-13T14:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。