Fugu-MT 論文翻訳(概要): Coherence-Oriented Dream Scene Visualisation

論文の概要: Coherence-Oriented Dream Scene Visualisation

arxiv url: http://arxiv.org/abs/2608.05233v1
Date: Wed, 05 Aug 2026 13:36:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-07 17:43:06.635906
Title: Coherence-Oriented Dream Scene Visualisation
Title（参考訳）: コヒーレンス指向ドリームシーンの可視化
Abstract要約: そこで本研究では,夢を可視化する4枚のパネル画像の時間的シーケンスを記述したドリーム記述を記述したシステムについて述べる。これは、大きな言語モデルから始まり、夢の記述を4つの年代区分に分割する。ドリームバンクのドリーム記述から50以上のDSVを可視化し,品質,忠実度,一貫性を報告した。
参考スコア（独自算出の注目度）: 3.7323123012231285
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dreams can be emotionally intense but difficult to communicate. We describe the Dream Scene Visualiser (DSV) system which turns written dream descriptions into a temporal sequence of four panel images visualising the dream. This starts with a large language model prompted to split a dream description into four chronological parts. Then a text-to-image model produces images for each part with visual coherence maintained across the sequence, and DSV regenerates any image not suitably matching the text. We evaluate DSV over 50 visualisations from dream descriptions in DreamBank, and report quality, fidelity and coherence results via objective measures employing the CLIP, DINOv2 and Qwen2-VL vision-language models.
Abstract（参考訳）: 夢は感情的に激しいが、コミュニケーションが難しい。本研究では,Dream Scene Visualiser (DSV) システムについて述べる。これは、大きな言語モデルから始まり、夢の記述を4つの年代区分に分割する。その後、テキスト・ツー・イメージ・モデルは、シーケンス全体にわたって視覚的コヒーレンスを維持した各部分の画像を生成し、DSVは、テキストに適さない任意の画像を再生する。ドリームバンクのドリーム記述から50以上のDSVを可視化し,CLIP,DINOv2,Qwen2-VL視覚言語モデルを用いた客観的尺度を用いて,品質,忠実度,コヒーレンス性を報告する。

関連論文リスト

Dreaming in Flow: Generative Grounding Feedback for Self-Evolving Unified Multimodal Models [55.231245660246934]
統一マルチモーダルモデルは、視覚的理解と生成を単一のネットワークに統合するが、2つの機能は一般的に別々のタスクとして最適化される。我々は,テキストプロンプトとモデル自身の視覚的体験のみを使用する自己進化型ポストトレーニングフレームワークである生成的グラウンド・フィードバックを紹介する。
論文参考訳（メタデータ） (2026-09-08T05:52:53Z)
DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior [84.56343116275423]
ビデオ生成モデルに基づくストーリーボードフレームワークであるDreamShotを紹介する。 DreamShotは、制御可能なマルチショット合成に強力なビデオ拡散プリミティブを利用する。物語の忠実さとキャラクタの連続性を改善した視覚的・意味的に一貫性のあるシーケンスを生成する。
論文参考訳（メタデータ） (2026-04-19T01:51:41Z)
Making Your Dreams A Reality: Decoding the Dreams into a Coherent Video Story from fMRI Signals [46.90535445975669]
本稿では,マルチメディアコミュニティにおける勇敢な新しいアイデアについて考察し,夢をコヒーレントなビデオ物語に変換するための新しい枠組みを提案する。脳イメージングの最近の進歩、特に機能的磁気共鳴イメージング(fMRI)は、夢の神経基盤を探索する新しい方法を提供してきた。主観的な夢体験と客観的な神経生理学的データを組み合わせることで、夢の視覚的側面を理解し、完全なビデオ物語を作成することを目指す。
論文参考訳（メタデータ） (2025-01-16T08:03:49Z)
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation [60.07447565026327]
本研究では,新しいストーリー・ツー・ビデオ生成手法であるDreamRunnerを提案する。大規模言語モデル(LLM)を用いて入力スクリプトを構築し、粗粒度シーン計画と細粒度オブジェクトレベルのレイアウトと動き計画の両方を容易にする。 DreamRunnerは、検索拡張されたテストタイムアダプションで、各シーンのオブジェクトのターゲットモーションをキャプチャし、検索されたビデオに基づいたさまざまなモーションカスタマイズをサポートする。
論文参考訳（メタデータ） (2024-11-25T18:41:56Z)
DreamStory: Open-Domain Story Visualization by LLM-Guided Multi-Subject Consistent Diffusion [28.61450171549731]
自動オープンドメインストーリー可視化フレームワークDreamStoryを提案する。 DreamStory は(1) ストーリーディレクターとしての LLM と (2) 革新的多目的一貫した拡散モデル (MSD) から構成される。 MSDには、Masked Mutual Self-Attention (MMSA)とMasked Mutual Cross-Attention (MMCA)モジュールが含まれる。
論文参考訳（メタデータ） (2024-07-17T17:54:12Z)
Sequence-to-Sequence Language Models for Character and Emotion Detection in Dream Narratives [0.0]
本稿では,オープンドリームバンク・コーパス・オブ・ドリームストーリーズ(DreamBank corpus of Dream Storys)の英語部分における性格と感情の検出に関する最初の研究について述べる。以上の結果から,言語モデルがこの複雑な課題に効果的に対処できることが示唆された。モデルサイズ,文字の予測順序,固有名や文字の特徴を考慮した評価を行った。
論文参考訳（メタデータ） (2024-03-21T08:27:49Z)
Visual Storytelling with Question-Answer Plans [70.89011289754863]
本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
論文参考訳（メタデータ） (2023-10-08T21:45:34Z)
DeViL: Decoding Vision features into Language [53.88202366696955]
ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
論文参考訳（メタデータ） (2023-09-04T13:59:55Z)
DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction [14.950054143767824]
本稿では,世界モデルを用いた新しい強化学習手法DreamingV2を提案する。 DreamingV2はDreamerV2とDreamingの共同拡張である。我々はDreamingV2がロボット学習の信頼性の高いソリューションになると信じている。
論文参考訳（メタデータ） (2022-03-01T14:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。