論文の概要: OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?

• arxiv url: http://arxiv.org/abs/2609.38079v1
• Date: Tue, 29 Sep 2026 17:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.792351
• Title: OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
• Title（参考訳）: OmniTaskonomy: ビジュアル生成はいつ視覚的理解を改善するか?
• Abstract要約: イメージ・トゥ・イメージ(I2I)生成と画像・トゥ・テキスト(I2T)理解タスクについて検討した。 I2Iトレーニングは、I2Iトレーニングデータの量が増加するにつれて、下流I2Tのパフォーマンスが向上する。 19のI2I生成タスクと25のI2T理解能力にまたがる統合分類は、選択的、タスク依存的な利点を示す。
• 参考スコア（独自算出の注目度）: 112.12406641845946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a model to generate visual content can encourage it to learn rich perceptual capabilities related to geometry, spatial relationships, and objectness; yet, its benefits for visual understanding remain unclear. We ask: when and how does visual generation supervision improve visual understanding? We study controlled pairs of image-to-image (I2I) generation and image-to-text (I2T) understanding tasks that express the same underlying problem in different output modalities. We find that under the correct recipe, I2I training improves downstream I2T performance, with larger gains as the amount of I2I training data increases. We next ask which generation tasks benefit which understanding capabilities. To study transfer beyond paired tasks, we introduce OmniTaskonomy, a unified taxonomy spanning 19 I2I generation tasks and 25 I2T understanding capabilities. The resulting transfer map reveals selective, task-dependent benefits. Some follow intuitive correspondences, e.g., depth prediction improving metric 3D reasoning, object pointing improving counting, and jigsaw reconstruction improving 2D ordering. Interestingly, we also uncover surprising connections: 2.5D segmentation improving category recognition and Z-depth prediction improving localization. To probe these patterns, we analyze gradient alignment between generation and understanding tasks and find that stronger alignment is associated with larger downstream transfer gains. Together, our results highlight visual generation as a rich source of supervision for visual understanding and provide a roadmap for unlocking its benefits through the right training curriculum and task selection. Project page: https://omni-taskonomy.github.io/.
• Abstract（参考訳）: 視覚的コンテンツを生成するためのモデルのトレーニングは、幾何学、空間的関係、目的性に関連する豊かな知覚能力を学ぶことを奨励するが、その利点はいまだ不明である。 視覚生成の監督は、いつ、どのようにして視覚的理解を改善するのか? I2I 生成と I2T 理解タスクの制御ペアについて検討した。 正しいレシピの下では、I2Iトレーニングは、I2Iトレーニングデータの量が増加するにつれて、下流I2Tのパフォーマンスが向上することがわかった。 次に、どの生成タスクがどの理解能力に利益をもたらすかを尋ねます。 OmniTaskonomyは19のI2I生成タスクと25のI2T理解能力にまたがる統合分類である。 得られた転送マップは、選択的でタスクに依存した利点を示す。 いくつかは直感的な対応、例えば3D推論を改善する深さ予測、カウントを改善するオブジェクトポインティング、2Dオーダを改善するジグソー再構成に従う。 2.5Dセグメンテーションはカテゴリ認識を改善し、Z深度予測はローカライゼーションを改善した。 これらのパターンを探索するために、生成タスクと理解タスク間の勾配アライメントを解析し、より強いアライメントが下流の転送利得に結びついていることを確認する。 この結果から,視覚的理解のためのリッチな指導源としての視覚生成が強調され,適切な学習カリキュラムやタスク選択を通じて,そのメリットを解放するためのロードマップが提供される。 プロジェクトページ: https://omni-taskonomy.github.io/.com

関連論文リスト

• Same or Not? Enhancing Visual Perception in Vision-Language Models [6.971464056247448]
  視覚言語モデル(VLM)は、広い視覚的理解において優れているが、粗い粒度のままであり、視覚バイアスを示し、微妙な視覚的詳細を見逃す。 そこで我々は,VLMの知覚能力を高めるために,新たなトレーニングコーパスとタスクを導入する。 TWINは561,000のイメージペアクエリの大規模なデータセットで、2つの視覚的に類似したイメージが同じオブジェクトを描いているかをモデルで判断する。
  論文  参考訳（メタデータ） (2025-12-29T16:43:47Z)
• UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale? [17.49769409149882]
  統合視覚言語モデルにおける一般的な仮定は、生成を追加することで理解が自然に強化されるということである。 2M以上の事前トレーニングサンプルでは、生成はセマンティックレベルで動作している場合にのみ理解するのに役立つ。 統一世代理解は、理解だけでは不十分なスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2025-12-29T14:49:50Z)
• GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph [63.81641578763094]
  適応型効率的な伝達学習(ETL)は視覚言語モデル(VLM)のチューニングにおいて優れた性能を示した 本稿では,2つのモーダリティ構造知識を明示的にモデル化し,テキストアダプティブを実行する,GraphAdapterと呼ばれる効果的なアダプタスタイルチューニング戦略を提案する。 特に、二重知識グラフは、2つのサブグラフ、すなわちテキスト知識のサブグラフと視覚知識のサブグラフで成り立っており、ノードとエッジはそれぞれ2つのモダリティのセマンティクス/クラスとそれらの相関を表す。
  論文  参考訳（メタデータ） (2023-09-24T12:56:40Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• Offline Visual Representation Learning for Embodied Navigation [50.442660137987275]
  自己教師付き学習による視覚表現のオフライン事前学習(SSL) 長期学習スケジュール下での画像強調による特定のタスクにおけるビジュモータ表現のオンライン微調整
  論文  参考訳（メタデータ） (2022-04-27T23:22:43Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。