論文の概要: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
- arxiv url: http://arxiv.org/abs/2611.15844v1
- Date: Wed, 11 Nov 2026 18:57:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.255644
- Title: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
- Title(参考訳): Open Vision Banana - 生成的視覚知覚のための完全なオープンレシピ
- Abstract要約: 提案するOpen Vision Banana(OVB)は、事前学習したジェネレータを統合マルチタスク認識システムに変換するための、完全にオープンで再現可能なレシピである。
本分析では,カラーエンコーディング,プロンプトデザイン,パラメータ適応,タスクバランスなど,一般化において最も重要な設計選択について検討する。
OVBはVision Bananaの報告したCityscapesのゼロショットのパフォーマンスを上回り、最先端のアフィン不変深度推定装置と競合する。
- 参考スコア(独自算出の注目度): 37.41344135747982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work suggests that pretrained image generators encode real-world understanding beyond image synthesis. Vision Banana exploits this by framing vision tasks as conditional image editing. However, its data, weights, code, and implementation details are not public. We present Open Vision Banana (OVB), a fully open and reproducible recipe for converting pretrained generators into unified multi-task perception systems. Our analyses identify the design choices that matter most for generalization, including color encoding, prompt design, parameter adaptation, and task balancing. These choices interact, so individually helpful choices can hurt when combined with others. Starting from 4B and 9B parameter open-weight base models and using 2.1M-3.8M training pairs from public datasets, OVB surpasses Vision Banana's reported Cityscapes zero-shot performance (73.9 vs. 69.9 mIoU) and rivals state-of-the-art affine-invariant depth estimators. Its non-zero-shot variants come within five points of Vision Banana on referring and reasoning segmentation but remain further behind on instance segmentation. All models largely retain the base model's image-editing abilities. With legend ensembling, we introduce a test-time scaling method for generator-based perception. It segments an image under several class-color legends and fuses the results by majority vote, correcting unstable color-class bindings and improving mIoU by up to 8.7 points on Cityscapes and 15.0 points on COCO-Object without retraining. We release the dataset construction and processing pipeline, the training and evaluation code, as well as the final, intermediate, and ablation checkpoints. Project website: https://openvisionbanana.github.io
- Abstract(参考訳): 最近の研究は、事前訓練された画像生成装置が、画像合成以上の現実世界の理解を符号化していることを示唆している。
Vision Bananaは、条件付き画像編集として視覚タスクをフレーミングすることでこれを活用している。
しかし、そのデータ、重み、コード、実装の詳細は公開されていない。
提案するOpen Vision Banana(OVB)は、事前学習したジェネレータを統合マルチタスク認識システムに変換するための、完全にオープンで再現可能なレシピである。
本分析では,カラーエンコーディング,プロンプトデザイン,パラメータ適応,タスクバランスなど,一般化において最も重要な設計選択について検討する。
これらの選択は相互作用するので、個々に有用な選択は、他の選択と組み合わせることで損なわれる可能性がある。
4Bと9Bパラメータのオープンウェイトベースモデルから始まり、パブリックデータセットから2.1M-3.8Mトレーニングペアを使用して、OVBはVision Bananaの報告したCityscapesゼロショットパフォーマンス(73.9 vs. 69.9 mIoU)を上回り、最先端のアフィン不変深度推定器と競合する。
非ゼロショットの変種は、Vision Bananaの5点以内で、セグメンテーションの参照と推論を行うが、インスタンスセグメンテーションではさらに遅れている。
全てのモデルはベースモデルのイメージ編集能力を維持している。
伝説のアンサンブルを用いて,ジェネレータによる知覚のためのテスト時間スケーリング手法を提案する。
イメージをいくつかのクラスカラーの伝説の下に分割し、多数決で結果を融合させ、不安定なカラークラスのバインディングを修正し、mIoUをシティスケープで8.7ポイント、COCO-Objectで15.0ポイント改善する。
データセットの構築と処理パイプライン、トレーニングと評価コード、最終、中間、アブレーションチェックポイントをリリースします。
プロジェクトサイト: https://openvisionbanana.github.io
関連論文リスト
- ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision [45.17567273550127]
ズームインのみで得られる視覚情報から全画像に関する質問を構築するパイプラインであるZoomGainを紹介する。
ズームされたビューの各回答を複数のモデルで検証し、各質問が全体像において曖昧なままであることを保証する。
9K ZoomGainサンプルのトレーニングは、我々の4B/9Bモデルの視覚知覚能力を大幅に改善します。
論文 参考訳(メタデータ) (2026-11-10T13:38:00Z) - Open-Source Image Editing Models Are Zero-Shot Vision Learners [8.09316966436924]
Qwen-Image-Edit、FireRed-Image-Edit、LongCat-Image-Editの3つのオープンソースイメージ編集モデルを、密集した視覚的予測タスクで評価する。
その結果、オープンソースの画像編集モデルは、非自明なゼロショット視覚的理解を示すことがわかった。
論文 参考訳(メタデータ) (2026-05-06T07:11:50Z) - Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。
Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。
VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
論文 参考訳(メタデータ) (2026-03-13T17:58:14Z) - UIKA: Fast Universal Head Avatar from Pose-Free Images [65.03770342532134]
フィードフォワードでアニマタブルなガウスヘッドモデルであるウイカを任意の数の未入力から提示する。
従来のアバター法とは異なり、モデル表現、ネットワーク設計、データ準備のレンズを通してタスクを再考する。
本手法は,モノクロ・マルチビュー・セッティングにおいて既存手法よりも優れていた。
論文 参考訳(メタデータ) (2026-01-12T14:53:56Z) - DICEPTION: A Generalist Diffusion Model for Visual Perceptual Tasks [61.16389024252561]
計算資源と限られた訓練データとの制約下で複数のタスクに対処できる頑健な一般認識モデルを構築した。
我々は、何十億もの画像に事前訓練されたテキスト・画像拡散モデルを活用し、ビジュアル・ジェネラリスト・モデルであるDICEPTIONの導入に成功した。
DICEPTIONは、SOTAシングルタスクスペシャリストモデルに匹敵するパフォーマンスを達成しつつ、様々な知覚タスクに効果的に取り組むことを示す。
論文 参考訳(メタデータ) (2025-02-24T13:51:06Z) - ViPFormer: Efficient Vision-and-Pointcloud Transformer for Unsupervised
Pointcloud Understanding [3.7966094046587786]
単一アーキテクチャで画像とポイントクラウド処理を統合する軽量なViPFormer(ViPFormer)を提案する。
ViPFormerは、モーダル内およびクロスモーダルのコントラスト目的を最適化することにより、教師なしの方法で学習する。
異なるデータセットの実験では、ViPFormerは、より精度が高く、モデルの複雑さが低く、実行レイテンシが低い、従来の最先端の教師なしメソッドを上回っている。
論文 参考訳(メタデータ) (2023-03-25T06:47:12Z) - Corrupted Image Modeling for Self-Supervised Visual Pre-Training [103.99311611776697]
自己教師型視覚前訓練のためのCIM(Corrupted Image Modeling)を提案する。
CIMは、小さなトレーニング可能なBEiTを備えた補助発電機を使用して、人工マスクトークンを使用する代わりに入力イメージを破損させる。
事前トレーニング後、エンハンサーは下流タスク用の高容量ビジュアルエンコーダとして使用できる。
論文 参考訳(メタデータ) (2022-02-07T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。