論文の概要: Improving Chinese Story Generation via Awareness of Syntactic
Dependencies and Semantics
- arxiv url: http://arxiv.org/abs/2210.10618v1
- Date: Wed, 19 Oct 2022 15:01:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 12:49:46.211235
- Title: Improving Chinese Story Generation via Awareness of Syntactic
Dependencies and Semantics
- Title(参考訳): 構文依存と意味論の認識による中国語ストーリー生成の改善
- Authors: Henglin Huang, Chen Tang, Tyler Loakman, Frank Guerin and Chenghua Lin
- Abstract要約: 本稿では,単語間の依存関係の生成モデルをインフォームすることで,特徴メカニズムを向上する新世代フレームワークを提案する。
我々は様々な実験を行い、その結果、我々のフレームワークは、すべての評価指標において、最先端の中国世代モデルよりも優れていることを示した。
- 参考スコア(独自算出の注目度): 17.04903530992664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Story generation aims to generate a long narrative conditioned on a given
input. In spite of the success of prior works with the application of
pre-trained models, current neural models for Chinese stories still struggle to
generate high-quality long text narratives. We hypothesise that this stems from
ambiguity in syntactically parsing the Chinese language, which does not have
explicit delimiters for word segmentation. Consequently, neural models suffer
from the inefficient capturing of features in Chinese narratives. In this
paper, we present a new generation framework that enhances the feature
capturing mechanism by informing the generation model of dependencies between
words and additionally augmenting the semantic representation learning through
synonym denoising training. We conduct a range of experiments, and the results
demonstrate that our framework outperforms the state-of-the-art Chinese
generation models on all evaluation metrics, demonstrating the benefits of
enhanced dependency and semantic representation learning.
- Abstract(参考訳): ストーリー生成は、与えられた入力に基づいて長い物語を生成することを目的としている。
事前学習されたモデルの適用による先行研究の成功にもかかわらず、現在の中国の物語のニューラルモデルは高品質な長文の物語を生み出すのに苦戦している。
これは中国語を構文解析する際にあいまいさが原因で、単語のセグメンテーションの明確な区切りは持たないという仮説である。
その結果、ニューラルネットワークは中国の物語の特徴を非効率に捉えている。
本稿では,単語間の依存関係の生成モデルを通知し,同義語学習を通じて意味表現学習を増強することにより,特徴獲得機構を向上する新世代フレームワークを提案する。
我々は様々な実験を行い、このフレームワークがすべての評価指標において、最先端の中国世代モデルを上回ることを実証し、依存度の向上と意味表現学習の利点を実証した。
関連論文リスト
- Enhancing Context Through Contrast [0.4068270792140993]
本稿では,ニューラルマシン翻訳の性能向上のための新しいコンテキスト拡張ステップを提案する。
他のアプローチとは異なり、明示的にデータを拡張するのではなく、言語を暗黙的な拡張と見なす。
本手法は, 組込みをゼロから学習せず, 事前学習した組込みに一般化することができる。
論文 参考訳(メタデータ) (2024-01-06T22:13:51Z) - Expedited Training of Visual Conditioned Language Generation via
Redundancy Reduction [61.16125290912494]
$textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。
提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
論文 参考訳(メタデータ) (2023-10-05T03:40:06Z) - HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。
無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。
そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-01-17T12:07:13Z) - MOCHA: A Multi-Task Training Approach for Coherent Text Generation from
Cognitive Perspective [22.69509556890676]
本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。
我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
論文 参考訳(メタデータ) (2022-10-26T11:55:41Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - Exploiting Word Semantics to Enrich Character Representations of Chinese
Pre-trained Models [12.0190584907439]
本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。
提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2022-07-13T02:28:08Z) - Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese
Language Models [22.57309958548928]
構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。
LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。
構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
論文 参考訳(メタデータ) (2021-09-22T22:11:30Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳(メタデータ) (2021-05-20T20:42:42Z) - Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese
Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。
文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。
本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文 参考訳(メタデータ) (2021-04-15T02:36:49Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳(メタデータ) (2020-12-10T01:27:24Z) - Linguistic Features for Readability Assessment [0.0]
言語的に動機づけられた特徴を持つディープラーニングモデルを強化することで、パフォーマンスがさらに向上するかどうかは不明だ。
十分なトレーニングデータから、言語的に動機づけられた特徴を持つディープラーニングモデルを増強しても、最先端のパフォーマンスは向上しないことがわかった。
本研究は,現在最先端のディープラーニングモデルが可読性に関連するテキストの言語的特徴を表現しているという仮説の予備的証拠を提供する。
論文 参考訳(メタデータ) (2020-05-30T22:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。