論文の概要: Crossing Borders: A Multimodal Challenge for Indian Poetry Translation and Image Generation

• arxiv url: http://arxiv.org/abs/2511.13689v1
• Date: Mon, 17 Nov 2025 18:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 18:52:09.683514
• Title: Crossing Borders: A Multimodal Challenge for Indian Poetry Translation and Image Generation
• Title（参考訳）: クロスボーダー:インド詩の翻訳と画像生成のためのマルチモーダルな挑戦
• Authors: Sofia Jamil, Kotla Sai Charan, Sriparna Saha, Koustava Goswami, Joseph K J,
• Abstract要約: インドの詩は、その言語的な複雑さと深い文化的共鳴で知られており、何千年もの間、豊かで多様な遺産がある。 その文化的重要性にもかかわらず、既存の詩に関する作品は、主にインドの詩を見落としている。 本稿では,Large Language Models(LLM)とLatent Diffusion Modelsを活用した翻訳・画像生成(TAI)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.583411423291233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indian poetry, known for its linguistic complexity and deep cultural resonance, has a rich and varied heritage spanning thousands of years. However, its layered meanings, cultural allusions, and sophisticated grammatical constructions often pose challenges for comprehension, especially for non-native speakers or readers unfamiliar with its context and language. Despite its cultural significance, existing works on poetry have largely overlooked Indian language poems. In this paper, we propose the Translation and Image Generation (TAI) framework, leveraging Large Language Models (LLMs) and Latent Diffusion Models through appropriate prompt tuning. Our framework supports the United Nations Sustainable Development Goals of Quality Education (SDG 4) and Reduced Inequalities (SDG 10) by enhancing the accessibility of culturally rich Indian-language poetry to a global audience. It includes (1) a translation module that uses an Odds Ratio Preference Alignment Algorithm to accurately translate morphologically rich poetry into English, and (2) an image generation module that employs a semantic graph to capture tokens, dependencies, and semantic relationships between metaphors and their meanings, to create visually meaningful representations of Indian poems. Our comprehensive experimental evaluation, including both human and quantitative assessments, demonstrates the superiority of TAI Diffusion in poem image generation tasks, outperforming strong baselines. To further address the scarcity of resources for Indian-language poetry, we introduce the Morphologically Rich Indian Language Poems MorphoVerse Dataset, comprising 1,570 poems across 21 low-resource Indian languages. By addressing the gap in poetry translation and visual comprehension, this work aims to broaden accessibility and enrich the reader's experience.
• Abstract（参考訳）: インドの詩は、その言語的な複雑さと深い文化的共鳴で知られており、何千年もの間、豊かで多様な遺産がある。 しかし、その階層的な意味、文化的な言い回し、洗練された文法的な構成はしばしば理解の難しさを生じさせ、特に非ネイティブ話者やその文脈や言語に精通していない読者にとってはなおさらである。 その文化的重要性にもかかわらず、既存の詩に関する作品は、主にインドの詩を見落としている。 本稿では,Large Language Models (LLM) とLatent Diffusion Models を利用した翻訳・画像生成(TAI)フレームワークを提案する。 我々の枠組みは、文化に富んだインド詩のグローバルなオーディエンスへのアクセシビリティを高めることで、国連品質教育の持続可能な開発目標(SDG 4)と還元不平等(SDG 10)を支援します。 1) 形態的に豊かな詩を正確に英語に翻訳するOdds Ratio Preference Alignment Algorithmを用いた翻訳モジュール,(2) インド詩の視覚的に意味のある表現を作成するために, メタファーと意味の間のトークン, 依存関係, 意味的関係をキャプチャするために意味グラフを利用する画像生成モジュールを含む。 人的・定量的な評価を含む総合的な実験評価は,詩画像生成作業において,TAI拡散の優位性を示し,高いベースラインを達成している。 インド語詩の資源不足にさらに対処するため、21の低資源のインドの言語にまたがる1,570の詩からなるMorphologically Rich Indian Language Poems MorphoVerse Datasetを紹介した。 詩の翻訳と視覚的理解のギャップに対処することで、アクセシビリティを拡大し、読者の体験を強化することを目的としている。

関連論文リスト

• PoemTale Diffusion: Minimising Information Loss in Poem to Image Generation with Multi-Stage Prompt Refinement [18.293592213622183]
  PoemTale Diffusionは、詩的なテキストから画像への変換で失われる情報を最小化することを目的としている。 これを支援するため,既存の拡散モデルに適用し,自己認識機構を改良する。 詩の分野の研究を促進するために,1111詩からなるP4Iデータセットを紹介する。
  論文  参考訳（メタデータ） (2025-07-18T07:33:08Z)
• Seedream 2.0: A Native Chinese-English Bilingual Image Generation Foundation Model [69.09404597939744]
  Seedream 2.0は、中国語と英語のバイリンガル画像生成基盤モデルである。 中国語と英語の両方でテキストプロンプトを管理し、バイリンガル画像生成とテキストレンダリングをサポートする。 テキストエンコーダとして自己開発されたバイリンガルな大規模言語モデルと統合されており、大量のデータから直接ネイティブ知識を学習することができる。
  論文  参考訳（メタデータ） (2025-03-10T17:58:33Z)
• Vietnamese Poem Generation & The Prospect Of Cross-Language Poem-To-Poem Translation [0.0]
  本研究では,大規模言語モデルを用いて,自然言語のプロンプトからベトナム語の詩を生成することを提案する。 GPT-3のバベッジ版は、ベトナム詩の「ルーク・バット」ジャンルに特化して0.8のカスタム評価スコアを達成している。
  論文  参考訳（メタデータ） (2024-01-02T07:46:34Z)
• PoetryDiffusion: Towards Joint Semantic and Metrical Manipulation in Poetry Generation [58.36105306993046]
  制御可能なテキスト生成は自然言語生成(NLG)において困難かつ有意義な分野である 本稿では,ソネット生成のための拡散モデルと中国語のSongCi詩の創始について述べる。 本モデルでは,人的評価だけでなく,意味的,計量的,総合的な性能の自動評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-06-14T11:57:31Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• Don't Go Far Off: An Empirical Study on Neural Poetry Translation [13.194404923699782]
  いくつかの側面から詩の翻訳を実証的に検討する。 複数言語対の詩翻訳の並列データセットをコントリビュートする。 その結果,詩文の多言語微調整は,35倍の大きさの非詩文の多言語微調整よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-07T10:00:44Z)
• CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
  本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。 この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。 このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
  論文  参考訳（メタデータ） (2021-06-03T16:49:03Z)
• MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space [79.70053419040902]
  多様な要素を吸収し,多様なスタイルを創出し,多様性を促進する新しいモデルであるMixPoetを提案する。 半教師付き変分オートエンコーダに基づいて、我々のモデルは潜在空間をいくつかの部分空間に切り離し、それぞれが敵の訓練によって1つの影響因子に条件付けされる。 中国詩の実験結果は、MixPoetが3つの最先端モデルに対して多様性と品質の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2020-03-13T03:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。