論文の概要: CrossPair: Unlocking Generalist Visual Transformation Learning in Image Editors
- arxiv url: http://arxiv.org/abs/2610.34333v1
- Date: Sun, 25 Oct 2026 14:49:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.579134
- Title: CrossPair: Unlocking Generalist Visual Transformation Learning in Image Editors
- Title（参考訳）: CrossPair:イメージエディタにおける一般のビジュアルトランスフォーメーション学習のアンロック
- Abstract要約: CrossPairは、トレーニング済みのマルチモーダルイメージエディタに適応して、1つの例のペアからさまざまな変換を転送する。
条件表現,復元,編集,仮想試行,スタイリゼーションからフィルタペアをグループ化してTransform-360Kを構築する。
- 参考スコア（独自算出の注目度）: 14.252826836746761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models switch tasks from demonstrations, but vision still often relies on separate systems for restoration, editing, and stylization. A before--after example offers a shared instruction only if the transferable change can be separated from the scene that demonstrates it. We introduce CrossPair, which adapts a pretrained multimodal image editor to transfer diverse transformations from one exemplar pair. Exemplar-before, exemplar-after, and query images take fixed roles in its native VLM and VAE pathways: the VLM extracts operation semantics, while the VAE retains fine appearance and structure. A training-only, change-aware DINOv3 objective aligns feature-change directions across content-distinct scenes, guiding the output to follow the demonstrated relation without an inference-time encoder. We construct Transform-360K by grouping filtered pairs from conditional representations, restoration, editing, virtual try-on, and stylization under shared transformations. On Relation252K-derived seen and held-out transformations, \method improves target agreement and edit-direction similarity over released systems. Ablations show that the semantic and visual exemplar routes are complementary and that DINO relation alignment further strengthens transfer; Transform-360K training also improves aggregate held-out-operation scores.
- Abstract（参考訳）: 言語モデルはデモからタスクを切り替えるが、視覚はしばしば復元、編集、スタイリングのために別々のシステムに依存している。
事前の例は、転送可能な変更がそれをデモするシーンから分離できる場合にのみ、共有命令を提供する。
そこで我々はCrossPairを紹介した。これは、事前訓練されたマルチモーダル画像エディタを用いて、ある例のペアから多様な変換を転送する。
VLMは操作のセマンティクスを抽出し、VAEは細かい外観と構造を保持する。
トレーニング専用で変更対応のDINOv3目的は、コンテンツ固有のシーン間で特徴変化方向を調整し、推論時エンコーダを使わずに、実証された関係に従うように出力を誘導する。
コンディション表現,復元,編集,仮想試行,共有変換によるスタイリングからフィルタペアをグループ化してTransform-360Kを構築する。
Relation252K由来のルック・アンド・ホールド・アウト変換では、Shamethodはリリースシステムに対する目標合意と編集方向の類似性を改善している。
アブレーションは、意味的および視覚的模範的経路が相補的であり、DINO関係のアライメントが転送をさらに強化することを示し、Transform-360Kトレーニングは、アグリゲート・アウト・オペレーションスコアも改善している。
関連論文リスト
- MT Forcing: Towards Stable and Consistent Multi-Turn Image Editing with Autoregressive Diffusion [64.00373533732684]
統一マルチモーダルモデル(UMM)を用いたマルチターン画像編集のための新しいトレーニングパラダイムであるMT Forcingを提案する。
具体的には,学生の自己ロールアウトを教師に監督し,ソース画像に累積的な編集を1ターンで行うシングルTurn Distribution Matching Distillation (Single-Turn DMD)を提案する。
また, 暖房時および蒸留時のレギュレータとして, 基準軌跡の履歴依存的遷移を監督する「教師強制指導」についても紹介する。
論文 参考訳（メタデータ） (2026-10-18T17:01:40Z) - Re-calibrated Contrastive Loss for Transformation-Aware Prompt Conditioning in Vision-Language Models [5.403677859218301]
既存の方法は、異なるインスタンスとして同一クラスのサンプルを扱い、ペア化されたテキストプロンプトとは独立して画像を変換する。
我々は、変換対応のプロンプト条件付けと、再校正されたコントラッシブ損失により、これらの制限に対処する。
提案手法では,モデルがドメイン固有の特徴をより効果的に学習できるようにするため,異なるインスタンスではなく,同じクラスサンプルをポジティブとして扱う。
論文 参考訳（メタデータ） (2026-09-07T03:04:38Z) - Hierarchical Dual-Change Collaborative Learning for UAV Scene Change Captioning [20.801550679713568]
本稿では,UAVシーン理解のための新しいタスクであるUAVシーン変更キャプションを提案する。
動的空中画像における意味的変化の自然言語記述を生成することを目的としている。
論文 参考訳（メタデータ） (2026-03-13T09:33:11Z) - Seeing to Generalize: How Visual Data Corrects Binding Shortcuts [5.724899979571379]
ビジョン言語モデルは、純粋にテキストのみのタスクにおいて、基盤となるLarge Language Modelよりもパフォーマンスが高い。
視覚訓練がモデルの内部結合戦略を変えることを示す。
本研究は,1つのモダリティに根ざしたタスクにおいても,クロスモーダルトレーニングが推論と一般化を促進することを示唆している。
論文 参考訳（メタデータ） (2026-02-16T20:43:12Z) - DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception [0.846600473226587]
本稿では, リモートセンシング画像変化解析(RSICA)を, 変化検出の強みと視覚的質問応答を組み合わせた新しいパラダイムとして導入する。
対話型RSICAに適したエンドツーエンドアーキテクチャであるDeltaVLMを提案する。
DeltaVLMは, 時間差を捉えた微調整バイテンポラルビジョンエンコーダ, 変化を解釈する相互関係測定機構を備えた視覚差分認識モジュール, クエリ関連差分情報を効果的に抽出する命令誘導Q-フォーマの3つのイノベーションを特徴とする。
論文 参考訳（メタデータ） (2025-07-30T03:14:27Z) - RelationAdapter: Learning and Transferring Visual Relation with Diffusion Transformers [23.062860374441218]
本稿では、ソースターゲット画像のペアを利用して、新規なクエリ画像に対するコンテンツ認識編集意図を抽出し、転送する。
本稿では、Diffusion Transformer(DiT)ベースのモデルで視覚変換を効果的にキャプチャし、適用できる軽量モジュールであるRelationAdapterを紹介する。
Relation252Kの実験では、RelationAdapterはモデルの編集意図を理解し、転送する能力を大幅に改善し、生成品質と全体的な編集性能が顕著に向上した。
論文 参考訳（メタデータ） (2025-06-03T07:06:35Z) - Self-supervised Cross-view Representation Reconstruction for Change
Captioning [113.08380679787247]
変更キャプションは、類似したイメージのペアの違いを記述することを目的としている。
その主な課題は、視点変化によって引き起こされる擬似変化の下で、安定した差分表現を学習する方法である。
自己教師型クロスビュー表現再構成ネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-28T09:28:50Z) - Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot
Learning [74.48337375174297]
一般化ゼロショット学習(GZSL)は、目に見えない領域から移行した知識によって、見えないカテゴリを特定する。
プロトタイプと視覚特徴の対応性を段階的にモデル化するために,デュアルセマンティック・ビジュアル・トランスフォーマーモジュール(DSVTM)をデプロイする。
DSVTMは、インスタンス中心のプロトタイプを学習して異なる画像に適応させる、インスタンス駆動セマンティックエンコーダを考案した。
論文 参考訳（メタデータ） (2023-03-27T15:21:43Z) - Neighborhood Contrastive Transformer for Change Captioning [80.10836469177185]
本研究では,異なる環境下での様々な変化に対するモデルの知覚能力を向上させるために,近傍のコントラスト変換器を提案する。
提案手法は,変化シナリオの異なる3つの公開データセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-06T14:39:54Z) - ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。
提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。
注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
論文 参考訳（メタデータ） (2022-11-09T16:16:06Z) - Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。
本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。
我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
論文 参考訳（メタデータ） (2020-12-09T14:05:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。