論文の概要: Unified Pix Token And Word Token Generative Language Model

• arxiv url: http://arxiv.org/abs/2605.14028v1
• Date: Wed, 13 May 2026 18:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.460819
• Title: Unified Pix Token And Word Token Generative Language Model
• Title（参考訳）: Unified Pix TokenとWord Token生成言語モデル
• Abstract要約: 生成言語モデルにピクセルトークンとワードトークンを統一する新しいモデルを提案する。 新たなモデルでは、各ピクセルに独自のトークン埋め込み、カラー折り畳み、グローバルなコンディショナルアテンション近似、教師なし事前トレーニングを備えている。
• 参考スコア（独自算出の注目度）: 1.5469452301122175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the emergence of Vision Transformer (ViT), it has been widely used in generative language model and generative visual model. Especially in the current state-of-art open source multimodal models, ViT obtained by CLIP or SigLIP method serves as the vision encoder backbone to help them acquire visual understanding capabilities. But this method leads to limitations in visual understanding for details, such as difficulty in recognizing small text or numbers in images. To address these issues, we propose a new model to unify pix token and word token into the generative language model. The new model also features with each pix of image having its own token embedding, color folding, global conditional attention approximation and image unsupervised pretraining. We conducted image unsupervised pretraining experiments using our new model to explore its potential. The experimental results show that it has good performance even in small model and with limited training data. We believe our model also conforms to the scaling law, as long as model parameters and training data increased, its performance will continue to improve.
• Abstract（参考訳）: Vision Transformer (ViT) の登場以来、生成言語モデルや生成視覚モデルに広く用いられている。 特に現在の最先端のオープンソースマルチモーダルモデルでは、CLIPやSigLIPメソッドによって得られたViTがビジョンエンコーダのバックボーンとして機能し、視覚的理解能力の獲得を支援する。 しかし、この手法は、小さなテキストや画像中の数字を認識することの難しさなど、細部に対する視覚的理解の制限につながる。 これらの問題に対処するために,画素トークンとワードトークンを生成言語モデルに統合する新しいモデルを提案する。 新たなモデルでは、各ピクセルに独自のトークン埋め込み、カラー折り畳み、グローバルな条件付きアテンション近似、教師なし事前トレーニングを備えている。 我々は新しいモデルを用いて画像教師なし事前学習実験を行い、その可能性を探究した。 実験結果から,小型モデルでも,限られた訓練データでも良好な性能を示した。 モデルパラメータとトレーニングデータが増加する限り、そのパフォーマンスは改善され続けます。

関連論文リスト

• Image Generators are Generalist Vision Learners [71.11980587450198]
  画像生成訓練は、言語理解や推論事前学習に類似した役割を担っていることを示す。 そこで我々は,Nano Banana Pro(NBP)をトレーニングデータと視覚タスクデータを組み合わせた汎用モデルであるVision Bananaを紹介した。 我々のモデルは、2次元および3次元の理解、打ち負かし、あるいは競合するゼロショット・ドメイン・スペシャリストを含む様々な視覚タスクにおいてSOTAの結果を得る。
  論文  参考訳（メタデータ） (2026-04-22T08:23:48Z)
• Improved Alignment of Modalities in Large Vision Language Models [1.4561960744147884]
  本稿では,自動回帰視覚言語モデルの学習戦略を提案する。 視覚モデルを言語モデルと整合させるための4つの訓練段階を提案する。 また、トランスフォーマーベースの言語モデルをトレーニングするための異なる注意マスクも考案した。
  論文  参考訳（メタデータ） (2025-03-25T09:59:46Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• Fill in the blanks: Rethinking Interpretability in vision [0.0]
  我々は、新しい視点から視覚モデルの説明可能性を再考し、トレーニング中にモデルが学習した一般的な入力構造を探索する。 標準的なビジョンデータセットと事前トレーニングされたモデルの実験は、一貫性のあるパターンを明らかにし、追加のモデルに依存しない説明可能性ツールとして解釈できる。
  論文  参考訳（メタデータ） (2024-11-15T15:31:06Z)
• Elucidating the design space of language models for image generation [13.96798987912677]
  画像トークンはテキストトークンと比較してランダム性が高いことを示す。 また, 画像生成における局所的情報の重要性を, 全てのモデルで把握できたが, より小さなモデルでは, グローバルな文脈を捉えるのに苦労していることがわかった。 我々の研究は、視覚生成における言語モデルの最適化挙動を初めて分析し、他の領域にLMを適用する際に、より効果的な設計を刺激できると考えている。
  論文  参考訳（メタデータ） (2024-10-21T17:57:04Z)
• EVLM: An Efficient Vision-Language Model for Visual Understanding [18.794601813330715]
  本稿では,計算コストを最小化する効率的なマルチモーダル言語モデルを提案する。 画像キャプションやビデオキャプションといったタスクにおいて,公開マルチモーダルベンチマークの競合スコアを達成し,良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-07-19T10:09:51Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• GPT4Image: Large Pre-trained Models Help Vision Models Learn Better on Perception Task [47.1857510710807]
  我々はGPT4Imageと呼ばれる新しい学習フレームワークを提案し、CNNやViTがより良い表現を学ぶのに役立つ大規模な事前学習モデルの知識を抽出する。 本研究では,様々な視覚認知タスクにおける提案アルゴリズムの有効性を検証するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。