Fugu-MT 論文翻訳(概要): Syllables to Scenes: Literary-Guided Free-Viewpoint 3D Scene Synthesis from Japanese Haiku

論文の概要: Syllables to Scenes: Literary-Guided Free-Viewpoint 3D Scene Synthesis from Japanese Haiku

arxiv url: http://arxiv.org/abs/2502.11586v1
Date: Mon, 17 Feb 2025 09:18:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:10:44.023387
Title: Syllables to Scenes: Literary-Guided Free-Viewpoint 3D Scene Synthesis from Japanese Haiku
Title（参考訳）: シナリオからシーンへ:日本語俳句のリテラリー誘導自由視点3次元合成
Authors: Chunan Yu, Yidong Han, Chaotao Ding, Ying Zang, Lanyun Zhu, Xinhao Chen, Zejian Li, Renjun Xu, Tianrun Chen,
Abstract要約: 本研究では,詩の抽象概念を空間表現に変換する新しいフレームワークであるHaikuVerseを紹介する。本稿では,従来の詩の分析を先進的な生成技術と相乗化するための文芸指導的アプローチを提案する。本研究の枠組みは,(1)構造的意味分解による明示的イメージと暗黙的感情共鳴を捉える階層的言語批判理論(H-LCTGP)と,(2)詩的要素を体系的に一貫性のある3Dシーンに変換する多段的次元合成(PDS)である。
参考スコア（独自算出の注目度）: 7.9900858134493
License:
Abstract: In the era of the metaverse, where immersive technologies redefine human experiences, translating abstract literary concepts into navigable 3D environments presents a fundamental challenge in preserving semantic and emotional fidelity. This research introduces HaikuVerse, a novel framework for transforming poetic abstraction into spatial representation, with Japanese Haiku serving as an ideal test case due to its sophisticated encapsulation of profound emotions and imagery within minimal text. While existing text-to-3D methods struggle with nuanced interpretations, we present a literary-guided approach that synergizes traditional poetry analysis with advanced generative technologies. Our framework centers on two key innovations: (1) Hierarchical Literary-Criticism Theory Grounded Parsing (H-LCTGP), which captures both explicit imagery and implicit emotional resonance through structured semantic decomposition, and (2) Progressive Dimensional Synthesis (PDS), a multi-stage pipeline that systematically transforms poetic elements into coherent 3D scenes through sequential diffusion processes, geometric optimization, and real-time enhancement. Extensive experiments demonstrate that HaikuVerse significantly outperforms conventional text-to-3D approaches in both literary fidelity and visual quality, establishing a new paradigm for preserving cultural heritage in immersive digital spaces. Project website at: https://syllables-to-scenes.github.io/
Abstract（参考訳）: メタバース時代には、没入型技術が人間の体験を再定義し、抽象的な文学的概念をナビゲート可能な3D環境に変換することは、意味的および感情的忠実性を維持するための根本的な課題である。本研究では,詩の抽象概念を空間表現に変換する新しいフレームワークであるHaikuVerseを紹介する。既存のテキスト・ツー・3D手法はニュアンスな解釈に苦慮する一方で,従来の詩分析を高度な生成技術と相乗化するための文芸指導的アプローチを提案する。本フレームワークは,(1)構造的意味分解による明示的イメージと暗黙的感情共鳴を捉える階層的リテラリ批判理論(H-LCTGP)と(2)詩的要素を逐次拡散過程,幾何学的最適化,および実時間拡張を通じて整合的な3Dシーンへ体系的に変換する多段階パイプラインであるプログレッシブ次元合成(PDS)である。広汎な実験により,HaikuVerseは文学的忠実さと視覚的品質の両方において従来のテキスト・ツー・3Dアプローチを著しく上回り,没入型デジタル空間における文化的遺産保存のための新たなパラダイムを確立した。 Project website at: https://syllables-to-scenes.github.io/

関連論文リスト

Poetry in Pixels: Prompt Tuning for Poem Image Generation via Diffusion Models [18.293592213622183]
本稿では,詩の意味を視覚的に表現する画像を生成するためのPoemToPixelフレームワークを提案する。提案手法は,画像生成フレームワークに即時チューニングという概念を取り入れ,得られた画像が詩的な内容と密接に一致することを保証する。詩集の多様性を拡大するために,1001人の子どもの詩とイメージからなる新しいマルチモーダルデータセットであるMiniPoを紹介する。
論文参考訳（メタデータ） (2025-01-10T10:26:54Z)
Semi-supervised Chinese Poem-to-Painting Generation via Cycle-consistent Adversarial Networks [2.250406890348191]
本稿では,周期整合型対数ネットワークを用いた半教師付き手法を提案する。生成した詩や絵画の品質,多様性,一貫性を評価するために,新しい評価指標を導入する。提案手法は従来の手法よりも優れており,芸術表現の象徴的本質をとらえる可能性を示唆している。
論文参考訳（メタデータ） (2024-10-25T04:57:44Z)
3D Vision-Language Gaussian Splatting [29.047044145499036]
マルチモーダルな3Dシーン理解は、ロボット工学、自律運転、バーチャル/拡張現実において重要な応用である。本稿では,視覚的・意味的な相違点を適切に扱えるソリューションを提案する。また、既存のビュー間のセマンティック一貫性を改善するために、カメラビューブレンディング技術を採用している。
論文参考訳（メタデータ） (2024-10-10T03:28:29Z)
GHOST: Grounded Human Motion Generation with Open Vocabulary Scene-and-Text Contexts [48.28000728061778]
本稿では,オープンな語彙シーンエンコーダをアーキテクチャに統合し,テキストとシーン間の堅牢な接続を確立する手法を提案する。提案手法は,従来の最先端ベースラインモデルと比較すると,目標目標距離距離を最大30%削減する。
論文参考訳（メタデータ） (2024-04-08T18:24:12Z)
A Comprehensive Survey of 3D Dense Captioning: Localizing and Describing Objects in 3D Scenes [80.20670062509723]
3Dシークエンスキャプションは、3Dシーンの詳細な説明を作成することを目的とした、視覚言語によるブリッジングタスクである。 2次元の視覚的キャプションと比較して、現実世界の表現が密接なため、大きな可能性と課題が提示される。既存手法の人気と成功にもかかわらず、この分野の進歩を要約した総合的な調査は乏しい。
論文参考訳（メタデータ） (2024-03-12T10:04:08Z)
DiverseDream: Diverse Text-to-3D Synthesis with Augmented Text Embedding [15.341857735842954]
既存のテキストから3Dの手法はモード崩壊を起こしやすいため、結果の多様性は低い。同じテキストプロンプトから異なる3次元モデルの結合生成を考慮した新しい手法を提案する。本手法はテキストから3D合成における多様性を質的,定量的に向上させることを示す。
論文参考訳（メタデータ） (2023-12-02T08:21:20Z)
RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture [80.0643976406225]
本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
論文参考訳（メタデータ） (2023-05-18T22:57:57Z)
AIwriting: Relations Between Image Generation and Digital Writing [0.0]
2022年、GPT-3のようなAIテキスト生成システムとDALL-E 2のようなAIテキスト・画像生成システムは飛躍的に飛躍した。このパネルでは、電子文学の著者や理論家のグループが、これらのシステムによって提示される人間の創造性のための新しいオプポー・ツニティについて検討している。
論文参考訳（メタデータ） (2023-05-18T09:23:05Z)
Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文参考訳（メタデータ） (2023-02-24T09:36:31Z)
DSE-GAN: Dynamic Semantic Evolution Generative Adversarial Network for Text-to-Image Generation [71.87682778102236]
本稿では,動的セマンティック進化GAN(DSE-GAN)を提案する。 DSE-GANは2つの広く使用されているベンチマークで7.48%と37.8%のFID改善を達成した。
論文参考訳（メタデータ） (2022-09-03T06:13:26Z)
Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文参考訳（メタデータ） (2020-08-24T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。