論文の概要: Text Rendering Strategies for Pixel Language Models

• arxiv url: http://arxiv.org/abs/2311.00522v1
• Date: Wed, 1 Nov 2023 13:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 13:29:21.079880
• Title: Text Rendering Strategies for Pixel Language Models
• Title（参考訳）: ピクセル言語モデルのためのテキストレンダリング戦略
• Authors: Jonas F. Lotz, Elizabeth Salesky, Phillip Rust, and Desmond Elliott
• Abstract要約: 本稿では,テキストをPIXELモデルで描画する4つのアプローチについて検討する。 単純な文字Bigramレンダリングは、トークンレベルや多言語タスクのパフォーマンスを損なうことなく、文レベルのタスクのパフォーマンスを向上させる。 解析の結果,キャラクタ・ビッグラム・レンダリングは一貫して優れたモデルとなるが,パッチ周波数バイアスによって駆動される異方性パッチ埋め込み空間を持つことがわかった。
• 参考スコア（独自算出の注目度）: 21.36370101063954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel-based language models process text rendered as images, which allows them to handle any script, making them a promising approach to open vocabulary language modelling. However, recent approaches use text renderers that produce a large set of almost-equivalent input patches, which may prove sub-optimal for downstream tasks, due to redundancy in the input representations. In this paper, we investigate four approaches to rendering text in the PIXEL model (Rust et al., 2023), and find that simple character bigram rendering brings improved performance on sentence-level tasks without compromising performance on token-level or multilingual tasks. This new rendering strategy also makes it possible to train a more compact model with only 22M parameters that performs on par with the original 86M parameter model. Our analyses show that character bigram rendering leads to a consistently better model but with an anisotropic patch embedding space, driven by a patch frequency bias, highlighting the connections between image patch- and tokenization-based language models.
• Abstract（参考訳）: ピクセルベースの言語モデルは、画像としてレンダリングされたテキストを処理するので、任意のスクリプトを処理できる。 しかし、近年のアプローチでは、入力表現に冗長性があることから、下流タスクのサブ最適性を証明できるような、ほぼ等価な入力パッチを大量に生成するテキストレンダラーを使用している。 本稿では,画素モデル(rust et al., 2023)でテキストをレンダリングする4つの手法について検討し,トークンレベルや多言語タスクのパフォーマンスを損なうことなく,単純な文字bigramレンダリングにより文レベルのタスクのパフォーマンスが向上することを示す。 この新たなレンダリング戦略により、元の86Mパラメータモデルと同等の2200Mパラメータで、よりコンパクトなモデルのトレーニングが可能になる。 解析の結果,文字のBigramレンダリングが一貫したモデルに繋がるが,パッチ周波数バイアスによる異方性パッチ埋め込み空間は,画像パッチとトークン化に基づく言語モデルとの接続を強調している。

関連論文リスト

• Conditional Text-to-Image Generation with Reference Guidance [81.99538302576302]
  本稿では,拡散モデルを生成するために,特定の対象の視覚的ガイダンスを提供する画像の追加条件を用いて検討する。 我々は、異なる参照を取る能力を持つ安定拡散モデルを効率的に支持する、小規模のエキスパートプラグインを複数開発する。 専門的なプラグインは、すべてのタスクにおいて既存のメソッドよりも優れた結果を示し、それぞれ28.55Mのトレーニング可能なパラメータしか含まない。
  論文  参考訳（メタデータ） (2024-11-22T21:38:51Z)
• An End-to-End Model for Photo-Sharing Multi-modal Dialogue Generation [43.139415423751615]
  写真共有マルチモーダル対話生成には、テキスト応答を生成するだけでなく、適切なタイミングで写真を共有するための対話エージェントが必要である。 パイプラインモデルは、この複雑なマルチモーダルタスクを処理するために、画像キャプションモデル、テキスト生成モデル、画像生成モデルを統合する。 本稿では,画像パーセプトロンと画像生成器を大言語モデルに統合した,写真共有マルチモーダル対話生成のための最初のエンドツーエンドモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-16T10:33:19Z)
• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Grounding Language Models to Images for Multimodal Inputs and Outputs [89.30027812161686]
  本稿では,事前学習したテキストのみの言語モデルを視覚領域に最適化する効率的な手法を提案する。 任意にインターリーブされた画像とテキストデータを処理し、検索した画像とインターリーブされたテキストを生成する。
  論文  参考訳（メタデータ） (2023-01-31T18:33:44Z)
• Scaling Autoregressive Models for Content-Rich Text-to-Image Generation [95.02406834386814]
  Partiは、テキスト・ツー・イメージ生成をシーケンス・ツー・シーケンス・モデリング問題として扱う。 PartiはTransformerベースの画像トークンライザViT-VQGANを使用して、画像を離散トークンのシーケンスとしてエンコードする。 PartiPrompts (P2)は1600以上の英語のプロンプトの総合的なベンチマークである。
  論文  参考訳（メタデータ） (2022-06-22T01:11:29Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。