論文の概要: TangPoetryBench: A Multi-Dimensional Benchmark and Rubric-Conditioned Evaluator for Poetry-to-Image Generation
- arxiv url: http://arxiv.org/abs/2608.11452v1
- Date: Tue, 11 Aug 2026 21:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.391488
- Title: TangPoetryBench: A Multi-Dimensional Benchmark and Rubric-Conditioned Evaluator for Poetry-to-Image Generation
- Title（参考訳）: TangPoetryBench:多次元ベンチマークとRbric-Conditioned Evaluator
- Abstract要約: TangBenchは、1280枚の画像(古典中国語の唐詩x4の最先端T2Iモデル)のベンチマークであり、10次元にわたる品質管理された人間のアノテーションである。
我々は、詩の暗黙の感情を誘発する能力を含む、現在のT2Iモデルの共有的およびモデル固有の強みと弱さを明らかにする。
また,PoemAutoEvaluator (PAE) も導入した。
- 参考スコア（独自算出の注目度）: 3.970365166505577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image (T2I) models are increasingly asked to illustrate literary and cultural content, yet we cannot measure how well an image renders the meaning of a poem. The task is many-sided: a good illustration must be visually sound, faithful to the poem's imagery and scene, culturally and stylistically apt, free of spurious text, and true to its emotion, and its deepest requirements, imagery and especially implicit emotion, are never stated in the words. Existing metrics (CLIPScore, BLIPScore, VQAScore) reward literal text-image correspondence and so cannot tell whether an illustration succeeds, let alone why, or even separate the best model from the worst. We introduce TangPoetryBench, a multi-dimensional benchmark of 1,280 images (320 classical Chinese Tang poems x 4 state-of-the-art T2I models) with quality-controlled human annotations across ten dimensions. Analyzing this data, we reveal the shared and model-specific strengths and weaknesses of current T2I models, including their ability to evoke a poem's implicit emotion. We further introduce PoemAutoEvaluator (PAE), an open, rubric-conditioned evaluator that reaches parity with a strong proprietary judge (Claude), generalizes to an unseen generator and a second poetic tradition (Song Ci), and lets the benchmark scale to new images without fresh human annotation. We release the benchmark, annotations, and evaluator.
- Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)モデルは、文学的・文化的内容の描写がますます求められているが、画像が詩の意味をどれだけよく表すかを測ることはできない。
良いイラストは視覚的に健全で、詩のイメージや場面に忠実で、文化的かつ様式的に適応し、刺激的な文章が無く、その感情に忠実で、その最も深い要求、イメージ、特に暗黙的な感情は、言葉の中では決して述べられていない。
既存のメトリクス(CLIPScore、BLIPScore、VQAScore)は、リテラルテキストイメージ対応に報酬を与えるため、イラストが成功するかどうか、理由を言うまでもなく、最高のモデルを最悪のものから切り離すこともできない。
我々はTangPoetryBenchを紹介した。1280枚の画像の多次元ベンチマーク(古典中国語のTang poem x 4 State-of-the-art T2I model)で、10次元にわたって品質制御された人間のアノテーションについて紹介する。
このデータを分析して、詩の暗黙の感情を誘発する能力を含む、現在のT2Iモデルの共有およびモデル固有の強みと弱さを明らかにする。
さらに,PoemAutoEvaluator(PAE)についても紹介する。これはオープンでルーリックな条件付き評価器で,強力なプロプライエタリな判断器(Claude)と同等に到達し,未知のジェネレータと第2の詩的伝統(Song Ci)に一般化する。
ベンチマーク、アノテーション、評価ツールをリリースします。
関連論文リスト
- Do It Yourself (DIY): Modifying Images for Poems in a Zero-Shot Setting Using Weighted Prompt Manipulation [20.357558748582942]
Weighted Prompt Manipulation (WPM) 技術を導入し, 拡散モデルに注意重みやテキストを埋め込む手法を提案する。
WPMは、最終生成画像におけるそれらの影響を増強または抑制し、意味的に豊かで、より文脈的に正確な視覚化をもたらす。
これは詩語における画像強化のための重み付けされたプロンプト操作を統合する最初の試みである。
論文 参考訳（メタデータ） (2025-09-15T12:58:38Z) - PoemTale Diffusion: Minimising Information Loss in Poem to Image Generation with Multi-Stage Prompt Refinement [18.293592213622183]
PoemTale Diffusionは、詩的なテキストから画像への変換で失われる情報を最小化することを目的としている。
これを支援するため,既存の拡散モデルに適用し,自己認識機構を改良する。
詩の分野の研究を促進するために,1111詩からなるP4Iデータセットを紹介する。
論文 参考訳（メタデータ） (2025-07-18T07:33:08Z) - RePrompt: Reasoning-Augmented Reprompting for Text-to-Image Generation via Reinforcement Learning [88.14234949860105]
RePromptは、強化学習による迅速な強化プロセスに明示的な推論を導入する、新しいリプロンプトフレームワークである。
提案手法は,人手による注釈付きデータなしでエンドツーエンドのトレーニングを可能にする。
論文 参考訳（メタデータ） (2025-05-23T06:44:26Z) - Replace in Translation: Boost Concept Alignment in Counterfactual Text-to-Image [53.09546752700792]
我々は,この代替プロセスを明示論理ナラティブ・プロンプト (ELNP) と呼ぶ方法を提案する。
合成画像において,プロンプトに要求される概念を平均的にカバーできる数を計算するための計量を設計する。
大規模な実験と定性比較により、我々の戦略が反実的T2Iの概念の整合性を高めることが示される。
論文 参考訳（メタデータ） (2025-05-20T13:27:52Z) - Poetry in Pixels: Prompt Tuning for Poem Image Generation via Diffusion Models [18.293592213622183]
本稿では,詩の意味を視覚的に表現する画像を生成するためのPoemToPixelフレームワークを提案する。
提案手法は,画像生成フレームワークに即時チューニングという概念を取り入れ,得られた画像が詩的な内容と密接に一致することを保証する。
詩集の多様性を拡大するために,1001人の子どもの詩とイメージからなる新しいマルチモーダルデータセットであるMiniPoを紹介する。
論文 参考訳（メタデータ） (2025-01-10T10:26:54Z) - Sonnet or Not, Bot? Poetry Evaluation for Large Models and Datasets [3.0040661953201475]
大規模言語モデル(LLM)が詩を生成、認識できるようになった。
我々はLLMが英語詩の1つの側面をいかに認識するかを評価するタスクを開発する。
我々は,現在最先端のLLMが,一般的な文体と一般的でない文体の両方を識別できることを示す。
論文 参考訳（メタデータ） (2024-06-27T05:36:53Z) - Poetry2Image: An Iterative Correction Framework for Images Generated from Chinese Classical Poetry [7.536700229966157]
Poetry2Imageは、漢詩から生成された画像の反復的な補正フレームワークである。
提案手法は70.63%の平均要素完全性を実現し,直接画像生成よりも25.56%向上した。
論文 参考訳（メタデータ） (2024-06-15T19:45:08Z) - Commonsense-T2I Challenge: Can Text-to-Image Generation Models Understand Commonsense? [97.0899853256201]
本稿では,実生活におけるコモンセンスと整合した画像を生成するためのテキスト・ツー・イメージ生成モデルの能力を評価するための新しいタスクとベンチマークを提案する。
我々は、T2Iモデルが、例えば「電球は無光である」と「電球は無光である」というようなイメージを生成できるかどうかを評価する。
さまざまな最先端(ソータ)のT2Iモデルをベンチマークした結果、画像合成と実写写真の間にはまだ大きなギャップがあることがわかった。
論文 参考訳（メタデータ） (2024-06-11T17:59:48Z) - Language Does More Than Describe: On The Lack Of Figurative Speech in
Text-To-Image Models [63.545146807810305]
テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。
これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。
本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
論文 参考訳（メタデータ） (2022-10-19T14:20:05Z) - Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks
from The New Yorker Caption Contest [70.40189243067857]
大きめのニューラルネットワークがジョークを生成できるようになったが、本当にユーモアを「理解」しているのだろうか?
私たちは、New Yorker Cartoon Caption Contestから派生した3つのタスクでAIモデルに挑戦します。
どちらのモデルも3つのタスクすべてで苦労しています。
論文 参考訳（メタデータ） (2022-09-13T20:54:00Z) - Photorealistic Text-to-Image Diffusion Models with Deep Language
Understanding [53.170767750244366]
Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。
テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
論文 参考訳（メタデータ） (2022-05-23T17:42:53Z) - CCPM: A Chinese Classical Poetry Matching Dataset [50.90794811956129]
本稿では,詩のマッチングによるモデルの意味的理解を評価するための新しい課題を提案する。
この課題は、現代漢訳の漢詩では、4人の候補者の中から1行の漢詩を選ばなければならない。
このデータセットを構築するために、まず中国古典詩と現代中国語の翻訳の並列データを得る。
論文 参考訳（メタデータ） (2021-06-03T16:49:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。