論文の概要: Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2408.06259v1
• Date: Mon, 12 Aug 2024 16:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 13:03:23.743360
• Title: Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
• Title（参考訳）: ビジュアル・プレフィックス・チューニングとコントラスト学習によるコンテキスト認識型ビジュアルストーリーテリング
• Authors: Yingjin Song, Denis Paperno, Albert Gatt,
• Abstract要約: 本稿では、モダリティを接続するための軽量な視覚言語マッピングネットワークを訓練するフレームワークを提案する。 視覚的関連性やストーリー情報性も向上するマルチモーダルなコントラスト目標を提案する。
• 参考スコア（独自算出の注目度）: 2.401993998791928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual storytelling systems generate multi-sentence stories from image sequences. In this task, capturing contextual information and bridging visual variation bring additional challenges. We propose a simple yet effective framework that leverages the generalization capabilities of pretrained foundation models, only training a lightweight vision-language mapping network to connect modalities, while incorporating context to enhance coherence. We introduce a multimodal contrastive objective that also improves visual relevance and story informativeness. Extensive experimental results, across both automatic metrics and human evaluations, demonstrate that the stories generated by our framework are diverse, coherent, informative, and interesting.
• Abstract（参考訳）: ビジュアルストーリーテリングシステムは、画像シーケンスから多文ストーリーを生成する。 このタスクでは、コンテキスト情報をキャプチャし、視覚的なバリエーションをブリッジすることで、さらなる課題が生じる。 我々は,事前学習した基礎モデルの一般化機能を活用しつつ,モダリティを接続する軽量な視覚言語マッピングネットワークをトレーニングし,コヒーレンスを高めるためにコンテキストを取り入れた,シンプルで効果的なフレームワークを提案する。 視覚的関連性やストーリー情報性も向上するマルチモーダルなコントラスト目標を提案する。 自動測定と人的評価の両方にわたる大規模な実験結果は、我々のフレームワークによって生成されたストーリーが多様で、一貫性があり、情報的であり、興味深いことを実証している。

関連論文リスト

• Improving Visual Storytelling with Multimodal Large Language Models [1.325953054381901]
  本稿では,大規模言語モデル(LLM)と大規模視覚言語モデル(LVLM)を活用した新しいアプローチを提案する。 様々な視覚的ストーリーからなる新しいデータセットを導入し、詳細なキャプションとマルチモーダル要素を付加する。 本手法では,教師付き学習と強化学習を組み合わせてモデルを微調整し,物語生成能力を向上する。
  論文  参考訳（メタデータ） (2024-07-02T18:13:55Z)
• Coherent Zero-Shot Visual Instruction Generation [15.0521272616551]
  本稿では,視覚的指示を生成する際の課題に対処するための,簡単な学習不要のフレームワークを提案する。 本手法は,視覚的指示が視覚的に魅力的であることを保証するために,テキスト理解と画像生成を体系的に統合する。 実験の結果,コヒーレントで視覚的な指示を可視化できることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T17:59:44Z)
• Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts [83.03471704115786]
  本研究では,改良型プロンプト拡散(iPromptDiff)を紹介する。 iPromptDiffは、視覚コンテキストを埋め込みベクトルに変換するエンドツーエンドのトレーニングされた視覚エンコーダを統合する。 拡散に基づく視覚基盤モデルにおいて,この視覚的文脈変調テキストガイダンスと標準制御ネット構造を組み込んだ場合,多種多様な学習課題における多目的性と堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-03T14:15:52Z)
• Text-Only Training for Visual Storytelling [107.19873669536523]
  視覚条件付きストーリー生成問題として視覚的ストーリーテリングを定式化する。 本稿では,モダリティ間のアライメントとストーリー生成の学習を分離するテキストのみのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:32:17Z)
• Word-Level Fine-Grained Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、動的シーンやキャラクターをまたいだグローバルな一貫性を備えた多文ストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は画像の品質と一貫性に苦慮しており、追加のセマンティック情報や補助的なキャプションネットワークに依存している。 まず,全ての物語文からの単語情報を取り入れた新しい文表現を導入し,不整合問題を緩和する。 そこで本稿では,画像の質とストーリーの整合性を改善するために,融合機能を備えた新たな識別器を提案する。
  論文  参考訳（メタデータ） (2022-08-03T21:01:47Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。