Fugu-MT 論文翻訳(概要): UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale?

論文の概要: UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale?

arxiv url: http://arxiv.org/abs/2512.23512v1
Date: Mon, 29 Dec 2025 14:49:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-30 22:37:30.546337
Title: UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale?
Title（参考訳）: UniHetero: 大規模データスケールでのビジョンランゲージモデルのための生成エンハンス理解は可能か?
Authors: Fengjiao Chen, Minhao Jing, Weitao Lu, Yan Feng, Xiaoyu Li, Xuezhi Cao,
Abstract要約: 視覚言語による大規模モデルは、視覚的理解と視覚的生成タスクの統合に向かっている。本研究では,UniHeteroという簡潔な構造を持つ統一モデルについて,大規模プレトレーニング(>200Mサンプル)下で解析する。
参考スコア（独自算出の注目度）: 17.49769409149882
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language large models are moving toward the unification of visual understanding and visual generation tasks. However, whether generation can enhance understanding is still under-explored on large data scale. In this work, we analysis the unified model with a concise structure, UniHetero, under large-scale pretraining (>200M samples). Our key observations are: (1) Generation can improve understanding, but Only if you generate Semantics, Not Pixels. (2) Generation reveals a superior Data Scaling trend and higher Data Utilization. (3) Autoregression on Input Embedding is effective to capture visual details.
Abstract（参考訳）: 視覚言語による大規模モデルは、視覚的理解と視覚的生成タスクの統合に向かっている。しかし、生成が理解を高めるかどうかは、大規模なデータスケールではまだ未調査である。本研究では,UniHeteroという簡潔な構造を持つ統一モデルについて,大規模事前学習(>200Mサンプル)下で解析する。 1) 生成は理解を改善することができるが、セマンティックスを生成する場合のみ、Pixelではない。 2) 生成は、優れたデータスケーリングトレンドと高いデータ利用を明らかにします。 (3)入力埋め込みの自己回帰は視覚的詳細を捉えるのに有効である。

関連論文リスト

Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
論文参考訳（メタデータ） (2025-09-29T17:59:57Z)
Impact of Language Guidance: A Reproducibility Study [0.0]
近年の自己教師型学習の進歩により,明示的なアノテーションを使わずに巨大なモデルを訓練することが可能になった。市販画像キャプションモデルBLIP-2を用いて,キャプションの置き換えと性能の向上を図る。また,解釈可能性に基づく自己教師付きモデルのセマンティック能力を評価するための新しい指標も考案した。
論文参考訳（メタデータ） (2025-04-10T21:59:13Z)
TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
論文参考訳（メタデータ） (2025-03-19T17:58:57Z)
OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
論文参考訳（メタデータ） (2025-03-05T18:44:48Z)
FiVL: A Framework for Improved Vision-Language Alignment through the Lens of Training, Evaluation and Explainability [10.184567639685321]
本稿では,LVLMを学習するための新しいデータセット構築手法であるFiVLを紹介する。本稿では,モデルがイメージを実体的証拠として用いる能力を評価するためのベンチマークを示す。視覚による幻覚を説明できる最強の視覚言語アライメントで注目頭を特定する。
論文参考訳（メタデータ） (2024-12-19T09:24:10Z)
MetaMorph: Multimodal Understanding and Generation via Instruction Tuning [57.35160715164359]
視覚予測インストラクションチューニング(VPiT)は、視覚的インストラクションチューニングへのシンプルで効果的な拡張である。 VPiT は LLM に、画像およびテキストデータの入力シーケンスから離散テキストトークンと連続的な視覚トークンを予測するように教える。 MetaMorphモデルをトレーニングし、視覚的理解と生成の両面での競争性能を達成する。
論文参考訳（メタデータ） (2024-12-18T18:58:50Z)
Critical Data Size of Language Models from a Grokking Perspective [35.029074833552656]
我々は、グラッキング構成下での位相遷移をデータ効率仮説に定式化する。一般化は言語モデルが臨界サイズに達する場合にのみ起こることを示す。その結果,言語モデルの学習メカニズムにおけるデータの役割について,新たな視点を提供するとともに,言語モデル学習の理解を深めることができた。
論文参考訳（メタデータ） (2024-01-19T03:24:36Z)
Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文参考訳（メタデータ） (2023-10-20T03:33:36Z)
Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文参考訳（メタデータ） (2023-09-09T03:01:38Z)
Visual Programming for Text-to-Image Generation and Evaluation [73.12069620086311]
テキスト・トゥ・イメージ(T2I)生成と評価のための2つの新しい解釈可能・説明可能なビジュアル・プログラミング・フレームワークを提案する。まず,T2I生成をオブジェクト/カウント生成,レイアウト生成,画像生成という3つのステップに分解する,解釈可能なステップバイステップT2I生成フレームワークであるVPGenを紹介する。第2に、視覚プログラミングに基づくT2I生成のための解釈可能かつ説明可能な評価フレームワークであるVPEvalを紹介する。
論文参考訳（メタデータ） (2023-05-24T16:42:17Z)
Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文参考訳（メタデータ） (2022-12-01T05:00:18Z)
Visual Speech Recognition for Multiple Languages in the Wild [64.52593130370757]
より優れたVSRモデルを設計することが、より大きなトレーニングセットを使用する上でも同様に重要であることを示す。 VSRモデルに予測に基づく補助タスクを追加することを提案する。このようなモデルは、異なる言語で動作し、公開データセット上でトレーニングされたこれまでのすべてのメソッドを大きなマージンで上回ることを示す。
論文参考訳（メタデータ） (2022-02-26T07:21:00Z)
Does language help generalization in vision models? [0.0]
非常に大きな教師付き画像データセット(ImageNet-21k)で訓練された視覚モデルは、そのマルチモーダル画像データセット(CLIP)と同じくらい効率的に一般化できることを示す。他の標準的な視覚モデルや言語モデルと比較すると、BiT-Mの潜在表現はCLIPと同じ「言語」であることが判明した。
論文参考訳（メタデータ） (2021-04-16T18:54:14Z)
Visual Distant Supervision for Scene Graph Generation [66.10579690929623]
シーングラフモデルは通常、大量のラベル付きデータを人間のアノテーションで教師付き学習する必要がある。本研究では,人間ラベルデータを用いずにシーングラフモデルを訓練できる視覚関係学習の新しいパラダイムである視覚遠方監視を提案する。包括的な実験結果から、我々の遠隔監視モデルは、弱い監督と半監督のベースラインよりも優れています。
論文参考訳（メタデータ） (2021-03-29T06:35:24Z)
Knowledge-Enhanced Personalized Review Generation with Capsule Graph Neural Network [81.81662828017517]
カプセルグラフニューラルネットワークを用いた知識強調型PRGモデル(Caps-GNN)を提案する。我々の生成プロセスは、アスペクトシーケンス生成と文生成という2つの大きなステップを含む。組み込まれた知識グラフは、アスペクトレベルとワードレベルの両方でユーザの好みを高めることができる。
論文参考訳（メタデータ） (2020-10-04T03:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。