論文の概要: Generating Chinese Poetry from Images via Concrete and Abstract Information

• arxiv url: http://arxiv.org/abs/2003.10773v1
• Date: Tue, 24 Mar 2020 11:17:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 08:14:19.298112
• Title: Generating Chinese Poetry from Images via Concrete and Abstract Information
• Title（参考訳）: コンクリートによる画像からの漢詩生成と抽象情報
• Authors: Yusen Liu, Dayiheng Liu, Jiancheng Lv, Yongsheng Sang
• Abstract要約: 具体的なキーワードを各行の詩行に明示的な方法で埋め込むことができる埋め込み型漢詩生成モデルを提案する。 また、トレーニング中に非並列データを使用し、別の画像データセットと詩データセットを構築して、フレームワーク内のさまざまなコンポーネントをトレーニングします。 自動評価と人的評価の両方の結果から, 画質を損なうことなく, 画像との整合性の良い詩を生成できることが示唆された。
• 参考スコア（独自算出の注目度）: 23.690384629376005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the automatic generation of classical Chinese poetry has made great progress. Besides focusing on improving the quality of the generated poetry, there is a new topic about generating poetry from an image. However, the existing methods for this topic still have the problem of topic drift and semantic inconsistency, and the image-poem pairs dataset is hard to be built when training these models. In this paper, we extract and integrate the Concrete and Abstract information from images to address those issues. We proposed an infilling-based Chinese poetry generation model which can infill the Concrete keywords into each line of poems in an explicit way, and an abstract information embedding to integrate the Abstract information into generated poems. In addition, we use non-parallel data during training and construct separate image datasets and poem datasets to train the different components in our framework. Both automatic and human evaluation results show that our approach can generate poems which have better consistency with images without losing the quality.
• Abstract（参考訳）: 近年、漢詩の自動生成は大きな進歩を遂げている。 生成した詩の質の向上に重点が置かれるほか、イメージから詩を作るという新しい話題もある。 しかし、このトピックの既存の手法には、トピックドリフトとセマンティック不整合の問題があり、これらのモデルをトレーニングする際、イメージ-ポエムペアデータセットを構築するのは難しい。 本稿では,これらの問題に対処するために,画像からコンクリートと抽象情報を抽出し,統合する。 本研究では,個々の詩列に具体的キーワードを明示的な方法で埋め込むインフィルリング型漢詩生成モデルと,その抽象情報を生成した詩に組み込む抽象情報を提案する。 さらに、トレーニング中に非並列データを使用し、別の画像データセットと詩データセットを構築し、フレームワーク内の異なるコンポーネントをトレーニングします。 自動評価と人的評価の両方の結果から, 画質を損なうことなく, 画像との整合性の良い詩を生成できることがわかった。

関連論文リスト

• Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks [2.250406890348191]
  本稿では,周期整合型対数ネットワークを用いた半教師付き手法を提案する。 生成した詩や絵画の品質,多様性,一貫性を評価するために,新しい評価指標を導入する。 提案手法は従来の手法よりも優れており,芸術表現の象徴的本質をとらえる可能性を示唆している。
  論文  参考訳（メタデータ） (2024-10-25T04:57:44Z)
• Poetry2Image: An Iterative Correction Framework for Images Generated from Chinese Classical Poetry [7.536700229966157]
  Poetry2Imageは、漢詩から生成された画像の反復的な補正フレームワークである。 提案手法は70.63%の平均要素完全性を実現し,直接画像生成よりも25.56%向上した。
  論文  参考訳（メタデータ） (2024-06-15T19:45:08Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Training-Free Consistent Text-to-Image Generation [80.4814768762066]
  テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。 既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。 本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:42:34Z)
• Visual Storytelling with Question-Answer Plans [70.89011289754863]
  本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。 我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。 また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
  論文  参考訳（メタデータ） (2023-10-08T21:45:34Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)
• Zero-shot Sonnet Generation with Discourse-level Planning and Aesthetics Features [37.45490765899826]
  詩の訓練を必要としないソネットを生成するための新しい枠組みを提案する。 具体的には、コンテンツ計画モジュールを非詩文で訓練し、談話レベルのコヒーレンスを得る。 また、生成されたソネットのパラメータとリズムの制約を課す制約付き復号アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-05-03T23:44:28Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。