論文の概要: Generated Contents Enrichment

• arxiv url: http://arxiv.org/abs/2405.03650v1
• Date: Mon, 6 May 2024 17:14:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:57:40.742352
• Title: Generated Contents Enrichment
• Title（参考訳）: 生成コンテンツ豊か化
• Authors: Mahdi Naseri, Jiayan Qiu, Zhou Wang,
• Abstract要約: 生成コンテンツエンリッチメント(GCE)と呼ばれる新しい人工知能生成タスクについて検討する。 提案したGCEは、視覚領域とテキスト領域の両方でコンテンツ豊か化を明示的に行う。 The Visual Genome dataset on the Visual Genome showed promising and visually plausible results。
• 参考スコア（独自算出の注目度）: 11.196681396888536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate a novel artificial intelligence generation task, termed as generated contents enrichment (GCE). Different from conventional artificial intelligence contents generation task that enriches the given textual description implicitly with limited semantics for generating visually real content, our proposed GCE strives to perform content enrichment explicitly on both the visual and textual domain, from which the enriched contents are visually real, structurally reasonable, and semantically abundant. Towards to solve GCE, we propose a deep end-to-end method that explicitly explores the semantics and inter-semantic relationships during the enrichment. Specifically, we first model the input description as a semantic graph, wherein each node represents an object and each edge corresponds to the inter-object relationship. We then adopt Graph Convolutional Networks on top of the input scene description to predict the enriching objects and their relationships with the input objects. Finally, the enriched graph is fed into an image synthesis model to carry out the visual contents generation. Our experiments conducted on the Visual Genome dataset exhibit promising and visually plausible results.
• Abstract（参考訳）: 本稿では,生成コンテンツエンリッチメント(GCE)と呼ばれる新しい人工知能生成タスクについて検討する。 視覚的にリアルなコンテンツを生成するための限定的な意味論によって、与えられたテキスト記述を暗黙的に豊かにする従来の人工知能コンテンツ生成タスクとは異なり、提案したGCEは、視覚的、構造的に合理的で、意味的に豊富である視覚的およびテキスト的領域の両方において、コンテンツリッチ化を明示的に実行しようと試みている。 本稿では, GCE の解決に向けて, エンリッチメントにおける意味論と意味間関係を明確に探求するディープ・エンド・ツー・エンド手法を提案する。 具体的には、まず入力記述を意味グラフとしてモデル化し、各ノードはオブジェクトを表し、各エッジはオブジェクト間の関係に対応する。 次に、入力シーン記述の上にグラフ畳み込みネットワークを導入し、リッチオブジェクトとその入力オブジェクトとの関係を予測する。 最後に、濃厚なグラフを画像合成モデルに入力し、視覚コンテンツ生成を行う。 The Visual Genome dataset on the Visual Genome showed promising and visually plausible results。

関連論文リスト

• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Structure Your Data: Towards Semantic Graph Counterfactuals [1.8817715864806608]
  概念に基づく対実的説明(CE)は、モデル予測にどの高レベルな意味的特徴が寄与するかを理解するための代替シナリオを考える説明である。 本研究では,入力データに付随する意味グラフに基づくCEを提案する。
  論文  参考訳（メタデータ） (2024-03-11T08:40:37Z)
• Let the Chart Spark: Embedding Semantic Context into Chart with Text-to-Image Generative Model [7.587729429265939]
  画像視覚化は、データとセマンティックコンテキストを視覚表現にシームレスに統合する。 本稿では,テキストから画像への生成モデルに基づく意味コンテキストをグラフに組み込む新しいシステムであるChartSparkを提案する。 本研究では,テキストアナライザ,編集モジュール,評価モジュールを統合したインタラクティブなビジュアルインタフェースを開発し,画像視覚化の生成,修正,評価を行う。
  論文  参考訳（メタデータ） (2023-04-28T05:18:30Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)
• Cross-Modal Graph with Meta Concepts for Video Captioning [101.97397967958722]
  ビデオキャプションのためのメタ概念を用いたクロスモーダルグラフ(CMG)を提案する。 ビデオキャプションで有用な意味概念を網羅するために、テキスト記述のための対応する視覚領域を弱く学習する。 我々は、予測された述語を用いて、全体的ビデオレベルおよび局所的フレームレベルのビデオグラフを構築し、ビデオシーケンス構造をモデル化する。
  論文  参考訳（メタデータ） (2021-08-14T04:00:42Z)
• MOC-GAN: Mixing Objects and Captions to Generate Realistic Images [21.240099965546637]
  より合理的な設定を導入し、オブジェクトやキャプションからリアルなイメージを生成します。 この設定では、オブジェクトはターゲットイメージにおける重要な役割を明示的に定義し、キャプションは、そのリッチな属性とコネクションを暗黙的に記述する。 2つのモードの入力を混合して現実的な画像を生成するMOC-GANを提案する。
  論文  参考訳（メタデータ） (2021-06-06T14:04:07Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• VICTR: Visual Information Captured Text Representation for Text-to-Image Multimodal Tasks [5.840117063192334]
  テキスト入力からオブジェクトのリッチな視覚的意味情報をキャプチャするマルチモーダルタスクであるVICTRを提案する。 本稿では,シーングラフとそれに対応する幾何学的関係情報をグラフ畳み込みネットワークを用いて学習する。 テキスト表現は、単語レベルと文レベルの埋め込みで集約され、視覚的文脈表現と文表現の両方を生成する。
  論文  参考訳（メタデータ） (2020-10-07T05:25:30Z)
• GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
  画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。 提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-14T02:52:45Z)
• Weakly Supervised Visual Semantic Parsing [49.69377653925448]
  SGG(Scene Graph Generation)は、画像からエンティティ、述語、それらの意味構造を抽出することを目的としている。 既存のSGGメソッドでは、トレーニングのために何百万もの手動アノテーション付きバウンディングボックスが必要である。 本稿では,ビジュアルセマンティック・パーシング,VSPNet,グラフベースの弱教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-08T03:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。