論文の概要: Improving Chinese Story Generation via Awareness of Syntactic Dependencies and Semantics

• arxiv url: http://arxiv.org/abs/2210.10618v1
• Date: Wed, 19 Oct 2022 15:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:49:46.211235
• Title: Improving Chinese Story Generation via Awareness of Syntactic Dependencies and Semantics
• Title（参考訳）: 構文依存と意味論の認識による中国語ストーリー生成の改善
• Authors: Henglin Huang, Chen Tang, Tyler Loakman, Frank Guerin and Chenghua Lin
• Abstract要約: 本稿では,単語間の依存関係の生成モデルをインフォームすることで,特徴メカニズムを向上する新世代フレームワークを提案する。 我々は様々な実験を行い、その結果、我々のフレームワークは、すべての評価指標において、最先端の中国世代モデルよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 17.04903530992664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Story generation aims to generate a long narrative conditioned on a given input. In spite of the success of prior works with the application of pre-trained models, current neural models for Chinese stories still struggle to generate high-quality long text narratives. We hypothesise that this stems from ambiguity in syntactically parsing the Chinese language, which does not have explicit delimiters for word segmentation. Consequently, neural models suffer from the inefficient capturing of features in Chinese narratives. In this paper, we present a new generation framework that enhances the feature capturing mechanism by informing the generation model of dependencies between words and additionally augmenting the semantic representation learning through synonym denoising training. We conduct a range of experiments, and the results demonstrate that our framework outperforms the state-of-the-art Chinese generation models on all evaluation metrics, demonstrating the benefits of enhanced dependency and semantic representation learning.
• Abstract（参考訳）: ストーリー生成は、与えられた入力に基づいて長い物語を生成することを目的としている。 事前学習されたモデルの適用による先行研究の成功にもかかわらず、現在の中国の物語のニューラルモデルは高品質な長文の物語を生み出すのに苦戦している。 これは中国語を構文解析する際にあいまいさが原因で、単語のセグメンテーションの明確な区切りは持たないという仮説である。 その結果、ニューラルネットワークは中国の物語の特徴を非効率に捉えている。 本稿では,単語間の依存関係の生成モデルを通知し,同義語学習を通じて意味表現学習を増強することにより,特徴獲得機構を向上する新世代フレームワークを提案する。 我々は様々な実験を行い、このフレームワークがすべての評価指標において、最先端の中国世代モデルを上回ることを実証し、依存度の向上と意味表現学習の利点を実証した。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Enhancing Context Through Contrast [0.4068270792140993]
  本稿では,ニューラルマシン翻訳の性能向上のための新しいコンテキスト拡張ステップを提案する。 他のアプローチとは異なり、明示的にデータを拡張するのではなく、言語を暗黙的な拡張と見なす。 本手法は, 組込みをゼロから学習せず, 事前学習した組込みに一般化することができる。
  論文  参考訳（メタデータ） (2024-01-06T22:13:51Z)
• The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text [29.586404361715054]
  本研究では,前任者が生成した合成データに対する学習言語モデルの影響について検討した。 その結果,連続反復によるモデル出力の多様性の連続的な低下が明らかとなった。 本研究は,言語モデルの言語能力に対する訓練手法の長期的影響を慎重に検討することの必要性を強調した。
  論文  参考訳（メタデータ） (2023-11-16T11:31:50Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models [22.57309958548928]
  構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。 LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。 構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
  論文  参考訳（メタデータ） (2021-09-22T22:11:30Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Linguistic Features for Readability Assessment [0.0]
  言語的に動機づけられた特徴を持つディープラーニングモデルを強化することで、パフォーマンスがさらに向上するかどうかは不明だ。 十分なトレーニングデータから、言語的に動機づけられた特徴を持つディープラーニングモデルを増強しても、最先端のパフォーマンスは向上しないことがわかった。 本研究は,現在最先端のディープラーニングモデルが可読性に関連するテキストの言語的特徴を表現しているという仮説の予備的証拠を提供する。
  論文  参考訳（メタデータ） (2020-05-30T22:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。