論文の概要: Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech
- arxiv url: http://arxiv.org/abs/2606.14750v1
- Date: Fri, 05 Jun 2026 11:46:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-21 20:00:42.774362
- Title: Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech
- Title（参考訳）: Pixel-TTS:ロバストテキスト音声のための画像ベーステキストレンダリング
- Authors: Adarsh Arigala, Arjun Gangwar, S Umesh, Yova Kementchedjhieva,
- Abstract要約: テキストを視覚的にグラウンド化することで、異なるUnicodeエンコーディングを持つ構造的に類似した文字が、同様の埋め込みを生成することができる。
視覚的な音声合成のための最初のフレームワークであるPixel-TTSを提案する。
テキストをイメージとしてレンダリングし、2D畳み込み層を通じて投影して埋め込みを生成する。
- 参考スコア（独自算出の注目度）: 3.62994537177299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in pixel-based text modeling show that representing text as images enables models to exploit visual cues for language understanding. Grounding text in its visual form allows structurally similar characters with different Unicode encodings to produce similar embeddings, benefiting cross-lingual and zero-shot scenarios. Conventional text-based approaches treat each character independently, limiting generalization to unseen characters and requiring embedding expansion during cross-lingual adaptation. We propose Pixel-TTS, the first framework for visually grounded speech synthesis. It renders text as images and projects them through a 2D convolutional layer to generate embeddings. This design eliminates embedding matrix expansion during fine-tuning while improving robustness to unseen characters and orthographic variations. Extensive experiments show Pixel-TTS achieves competitive performance with strong baselines, faster convergence and robust zero-shot generalization.
- Abstract（参考訳）: 画素ベースのテキストモデリングの最近の進歩は、テキストを画像として表現することで、モデルが言語理解のための視覚的手がかりを活用できることを示している。
テキストを視覚的にグラウンド化することで、異なるUnicodeエンコーディングを持つ構造的に類似した文字が、同様の埋め込みを生成することができ、言語横断とゼロショットのシナリオの恩恵を受けることができる。
従来のテキストベースのアプローチでは、各文字を個別に扱い、一般化を目に見えない文字に限定し、言語間の適応中に埋め込み拡張を必要とする。
視覚的な音声合成のための最初のフレームワークであるPixel-TTSを提案する。
テキストをイメージとしてレンダリングし、2D畳み込み層を通じて投影して埋め込みを生成する。
この設計では、微調整中の埋め込み行列の展開を排除し、未確認文字へのロバスト性や正書法の変化を改善した。
大規模な実験により、Pixel-TTSは強力なベースライン、より高速な収束、堅牢なゼロショットの一般化で競争性能を達成することが示された。
関連論文リスト
- TextGuider: Training-Free Guidance for Text Rendering via Attention Alignment [68.91073792449201]
そこで本研究では,テキストの正確かつ完全な出現を促すトレーニング不要な方法であるTextGuiderを提案する。
具体的には,多モード拡散変換器(MM-DiT)モデルにおける注意パターンを解析し,特に画像に描画することを意図したテキスト関連トークンについて検討する。
テスト時間テキストレンダリングでは,OCR精度とCLIPスコアが大幅に向上し,高い結果が得られた。
論文 参考訳（メタデータ） (2025-12-10T06:18:30Z) - UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。
私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。
画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
論文 参考訳（メタデータ） (2025-11-21T03:02:10Z) - Enhancing Robustness of Autoregressive Language Models against Orthographic Attacks via Pixel-based Approach [51.95266411355865]
自己回帰言語モデルは、正書法攻撃に弱い。
この脆弱性は、サブワードトークン化器とその埋め込みに固有の語彙外問題に起因している。
本稿では,単語を個々の画像としてレンダリングすることで,テキストベースの埋め込みをピクセルベースの表現に置き換える,画素ベースの生成言語モデルを提案する。
論文 参考訳（メタデータ） (2025-08-28T20:48:38Z) - UniGlyph: Unified Segmentation-Conditioned Diffusion for Precise Visual Text Synthesis [38.658170067715965]
画素レベルの視覚テキストマスクを統一された条件入力として用いるセグメンテーション誘導フレームワークを提案する。
提案手法は,AnyTextベンチマークの最先端性能を実現する。
レイアウトテストのためのGlyphMM-benchmarkと、小規模テキスト領域における生成品質の評価のためのMiniText-benchmarkの2つの新しいベンチマークも導入した。
論文 参考訳（メタデータ） (2025-07-01T17:42:19Z) - EasyText: Controllable Diffusion Transformer for Multilingual Text Rendering [9.087419148444225]
本稿では,DiT(Diffusion Transformer)に基づくテキストレンダリングフレームワークであるEasyTextを紹介する。
本稿では,文字位置の符号化と位置の符号化手法を提案する。
我々は,100万の多言語画像テキストアノテーションを用いた大規模合成テキスト画像データセットを構築し,20Kの注釈付き画像の高品質なデータセットを構築した。
論文 参考訳（メタデータ） (2025-05-30T09:55:39Z) - TextSR: Diffusion Super-Resolution with Multilingual OCR Guidance [24.242452422416438]
我々は,多言語テキスト画像超解法に特化して設計された多モーダル拡散モデルであるTextSRを紹介する。
テキストの先行画像と低解像度のテキスト画像を統合することにより,本モデルが効果的に超解像過程を導出する。
TextZoom と TextVQA のデータセット上でのモデルの優れたパフォーマンスは、STISR の新しいベンチマークを設定します。
論文 参考訳（メタデータ） (2025-05-29T05:40:35Z) - Story Visualization by Online Text Augmentation with Context Memory [64.86944645907771]
オンラインテキスト拡張による双方向トランスフォーマーフレームワークのための新しいメモリアーキテクチャを提案する。
提案手法は, FID, キャラクタF1, フレーム精度, BLEU-2/3, R精度など, 様々な指標において, 芸術の状態を著しく上回っている。
論文 参考訳（メタデータ） (2023-08-15T05:08:12Z) - GlyphDraw: Seamlessly Rendering Text with Intricate Spatial Structures
in Text-to-Image Generation [18.396131717250793]
GlyphDrawは、画像生成モデルに特定の言語に対して、テキストにコヒーレントに埋め込まれた画像を生成する能力を持たせることを目的とした、一般的な学習フレームワークである。
提案手法は,プロンプトのように正確な言語文字を生成するだけでなく,生成したテキストを背景にシームレスにブレンドする。
論文 参考訳（メタデータ） (2023-03-31T08:06:33Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z) - TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。
StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。
視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。
インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
論文 参考訳（メタデータ） (2020-12-06T16:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。