論文の概要: Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks

• arxiv url: http://arxiv.org/abs/2410.19307v1
• Date: Fri, 25 Oct 2024 04:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:52.894807
• Title: Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks
• Title（参考訳）: 周期整合対向ネットワークによる半教師付き中国語歌合音生成
• Authors: Zhengyang Lu, Tianhao Guo, Feng Wang,
• Abstract要約: 本稿では,周期整合型対数ネットワークを用いた半教師付き手法を提案する。 生成した詩や絵画の品質,多様性,一貫性を評価するために,新しい評価指標を導入する。 提案手法は従来の手法よりも優れており,芸術表現の象徴的本質をとらえる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 2.250406890348191
• License:
• Abstract: Classical Chinese poetry and painting represent the epitome of artistic expression, but the abstract and symbolic nature of their relationship poses a significant challenge for computational translation. Most existing methods rely on large-scale paired datasets, which are scarce in this domain. In this work, we propose a semi-supervised approach using cycle-consistent adversarial networks to leverage the limited paired data and large unpaired corpus of poems and paintings. The key insight is to learn bidirectional mappings that enforce semantic alignment between the visual and textual modalities. We introduce novel evaluation metrics to assess the quality, diversity, and consistency of the generated poems and paintings. Extensive experiments are conducted on a new Chinese Painting Description Dataset (CPDD). The proposed model outperforms previous methods, showing promise in capturing the symbolic essence of artistic expression. Codes are available online \url{https://github.com/Mnster00/poemtopainting}.
• Abstract（参考訳）: 古典的な漢詩や絵画は、芸術的表現のエピトームを表しているが、それらの関係の抽象的で象徴的な性質は、計算翻訳にとって重要な課題である。 既存のほとんどのメソッドは、この領域では不足している大規模なペアデータセットに依存している。 本研究では,周期整合型対数ネットワークを用いた半教師付きアプローチを提案する。 重要な洞察は、視覚とテキストのモダリティ間のセマンティックアライメントを強制する双方向マッピングを学ぶことである。 生成した詩や絵画の品質,多様性,一貫性を評価するために,新しい評価指標を導入する。 新しい中国絵画記述データセット (CPDD) について, 広範囲にわたる実験を行った。 提案手法は従来の手法よりも優れており,芸術表現の象徴的本質をとらえる可能性を示唆している。 コードはオンラインの \url{https://github.com/Mnster00/poemtopainting} で入手できる。

関連論文リスト

• Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
  画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。 双曲型視覚言語モデルのための構成的包摂学習を提案する。 数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T14:12:50Z)
• KALE: An Artwork Image Captioning System Augmented with Heterogeneous Graph [24.586916324061168]
  本稿では,アートワーク開発のための知識付加型視覚言語モデルを提案する。 KALEはメタデータを2つの方法で組み込む: 第一に直接テキスト入力、第二にマルチモーダルなヘテロジニアス知識グラフである。 実験結果から,KALEは複数のアートデータセットにまたがる既存の最先端の作業に対して高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-17T06:39:18Z)
• DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network [20.74857981451259]
  中国の風景画は独特で芸術的な様式であり、その画法は色と現実的な物体表現の両方において非常に抽象的である。 従来は、近代の絵から古代の墨画への移行に焦点が当てられていたが、風景画を近代の絵に翻訳することにはほとんど関心が向けられていない。
  論文  参考訳（メタデータ） (2024-03-06T04:46:03Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer [60.6863849241972]
  我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。 スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
  論文  参考訳（メタデータ） (2023-04-12T10:33:18Z)
• Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems [20.72849584295798]
  Paint4Poemと呼ばれる新しいデータセットを構築します。 Paint4Poemは、中国の影響力のある画家から手作業で集めた、高品質な詩画301組で構成されている。 詩の多様性,絵画スタイル,および詩と絵画の意味的関連性について,Paint4Poemを分析した。
  論文  参考訳（メタデータ） (2021-09-23T22:57:16Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Improving Disentangled Text Representation Learning with Information-Theoretic Guidance [99.68851329919858]
  自然言語の独特な性質は、テキスト表現の分離をより困難にする。 情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。 条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
  論文  参考訳（メタデータ） (2020-06-01T03:36:01Z)
• Generating Chinese Poetry from Images via Concrete and Abstract Information [23.690384629376005]
  具体的なキーワードを各行の詩行に明示的な方法で埋め込むことができる埋め込み型漢詩生成モデルを提案する。 また、トレーニング中に非並列データを使用し、別の画像データセットと詩データセットを構築して、フレームワーク内のさまざまなコンポーネントをトレーニングします。 自動評価と人的評価の両方の結果から, 画質を損なうことなく, 画像との整合性の良い詩を生成できることが示唆された。
  論文  参考訳（メタデータ） (2020-03-24T11:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。