論文の概要: TransPhy: Visual In-Context Learning for Physically Grounded Image Editing
- arxiv url: http://arxiv.org/abs/2608.24119v1
- Date: Tue, 25 Aug 2026 06:28:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.846253
- Title: TransPhy: Visual In-Context Learning for Physically Grounded Image Editing
- Title（参考訳）: Transphy: 物理的に接地した画像編集のための視覚的インテクスト学習
- Abstract要約: 74の物理基底変換規則と5,240のソースターゲット画像対からなるPhysVICL-74を導入する。
物理基底を持つVICLを物理ルール誘導とトランジション整合レンダリングに分解するフレームワークであるTransPhyを提案する。
実験により,TransPhyは既存の視覚内テキスト編集法に対して,物理ルールの適合性,クエリ一貫性,および目に見えないルールの一般化を改善した。
- 参考スコア（独自算出の注目度）: 13.800497681065986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual demonstrations provide a natural interface for specifying image transformations that are difficult to describe exhaustively with text. However, existing visual in-context learning (VICL) methods primarily focus on appearance-level relation transfer and provide limited support for physically grounded transformations, whose outcomes depend on material properties, geometry, object interactions, and environmental conditions. Given a source--target exemplar pair and a query image, physically grounded VICL requires a model to infer the demonstrated transformation, adapt its effects to the query-specific scene context, and preserve rule-irrelevant content. We introduce PhysVICL-74, comprising 74 physically grounded transformation rules and 5,240 source--target image pairs that form nearly 75K training and evaluation contexts. Its benchmark split separately evaluates novel-instance transfer and unseen-rule generalization. We further propose TransPhy, a framework that decomposes physically grounded VICL into physical-rule induction and transition-aligned rendering. TransPhy first predicts the demonstrated rule and an explicit query-specific target-state description, and then synthesizes the target image through token-wise mixture-of-experts adaptation, with expert routing guided by localized transition cues. Experiments show that TransPhy improves physical-rule adherence, query consistency, and unseen-rule generalization over existing visual in-context editing methods.
- Abstract（参考訳）: 視覚的なデモンストレーションは、テキストで徹底的に記述するのが難しい画像変換を指定するための自然なインターフェースを提供する。
しかし、既存のビジュアル・イン・コンテキスト・ラーニング(VICL)手法は、外見レベルの関係伝達に重点を置いており、物質特性、幾何学、物体の相互作用、環境条件に依存する物理基底変換の限られたサポートを提供する。
ソースターゲットの先駆的なペアとクエリイメージが与えられた場合、物理接地されたVICLは、実証された変換を推測し、その効果をクエリ固有のシーンコンテキストに適応し、ルール非関連コンテンツを保存するためのモデルを必要とする。
74の物理基底変換規則と5,240のソースターゲット画像ペアからなるPhysVICL-74を導入する。
そのベンチマークは、新しいインスタンス転送と目に見えないルールの一般化を別々に評価する。
さらに、物理的に接地されたVICLを物理ルール誘導とトランジッション整合レンダリングに分解するフレームワークであるTransPhyを提案する。
TransPhyはまず、実証されたルールと明示的なクエリ固有のターゲット状態記述を予測し、トークンワイドのミックス・オブ・エキスパート・アダプションを通じてターゲット画像を合成する。
実験により,TransPhyは既存の視覚内テキスト編集法に対して,物理ルールの適合性,クエリ一貫性,および目に見えないルールの一般化を改善した。
関連論文リスト
- VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation [24.373968967561993]
VIPERは、参照誘導画像-ビデオ生成のためのフレームワークである。
マルチモーダル大言語モデルを用いて、参照由来の物理キューを抽出する。
参照/ビデオの物理的類似性が向上し、代表映像生成よりも人間の好みが向上する。
論文 参考訳（メタデータ） (2026-07-26T05:55:49Z) - From Statics to Dynamics: Physics-Aware Image Editing with Latent Transition Priors [62.96515611323478]
テキスト-視覚的二重思考機構を備えたエンドツーエンドフレームワークであるPhysicalcEditを紹介する。
実験の結果、PhysicEditはQwen-Image-Editよりも5.9%、知識ベース編集では10.1%改善していることがわかった。
論文 参考訳（メタデータ） (2026-02-25T10:54:46Z) - PhyCustom: Towards Realistic Physical Customization in Text-to-Image Generation [58.02373668073258]
本稿では,2つの新たな正規化損失を含む微調整フレームワークを提案する。
具体的には、等尺的損失は、物理的概念を学習するために拡散モデルを活性化することを目的としており、一方、分離的損失は独立した概念の混合学習を排除するのに役立つ。
論文 参考訳（メタデータ） (2025-12-01T16:57:02Z) - RelationAdapter: Learning and Transferring Visual Relation with Diffusion Transformers [23.062860374441218]
本稿では、ソースターゲット画像のペアを利用して、新規なクエリ画像に対するコンテンツ認識編集意図を抽出し、転送する。
本稿では、Diffusion Transformer(DiT)ベースのモデルで視覚変換を効果的にキャプチャし、適用できる軽量モジュールであるRelationAdapterを紹介する。
Relation252Kの実験では、RelationAdapterはモデルの編集意図を理解し、転送する能力を大幅に改善し、生成品質と全体的な編集性能が顕著に向上した。
論文 参考訳（メタデータ） (2025-06-03T07:06:35Z) - Edit Transfer: Learning Image Editing via Vision In-Context Relations [20.26248827962424]
モデルが1つのソースターゲットの例から変換を学習し、それを新しいクエリイメージに適用する、新しい設定であるEdit Transferを導入する。
編集した例とクエリ画像を統一された4パネル複合体に配置し、軽量なLoRAファインチューニングを適用する。
42のトレーニングサンプルしか使用していないが、Edit Transferは、さまざまな非厳密なシナリオで最先端のTIEとRIEメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2025-03-17T16:04:44Z) - Situational Perception Guided Image Matting [16.1897179939677]
本研究では,マットアノテーションの主観バイアスを緩和する状況認識ガイド画像マッチング(SPG-IM)手法を提案する。
SPG-IMは、オブジェクト間およびオブジェクト間サリエンシをよりよく関連付けることができ、画像マッチングの主観的性質を補うことができる。
論文 参考訳（メタデータ） (2022-04-20T07:35:51Z) - Retrieval-based Spatially Adaptive Normalization for Semantic Image
Synthesis [68.1281982092765]
本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。
RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。
いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
論文 参考訳（メタデータ） (2022-04-06T14:21:39Z) - Image Sentiment Transfer [84.91653085312277]
我々は,イメージの感情伝達という,重要ではあるが未調査の研究課題を導入する。
本稿では,オブジェクトレベルでイメージの感情伝達を行う,効果的で柔軟なフレームワークを提案する。
中心となるオブジェクトレベルの感情伝達のために、我々は新しい感性認識型GAN(SentiGAN)を提案する。
論文 参考訳（メタデータ） (2020-06-19T19:28:08Z) - Transferring and Regularizing Prediction for Semantic Segmentation [115.88957139226966]
本稿では,セマンティックセグメンテーションの本質的特性を利用して,モデル伝達におけるそのような問題を緩和する。
本稿では,モデル転送を教師なし方式で正規化するための制約として固有特性を課す予測伝達の正規化器(RPT)を提案する。
GTA5とSynTHIA(synthetic data)で訓練されたモデルの都市景観データセット(アーバンストリートシーン)への転送に関するRTPの提案を検証するため、大規模な実験を行った。
論文 参考訳（メタデータ） (2020-06-11T16:19:41Z) - Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。
特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。
我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
論文 参考訳（メタデータ） (2020-04-29T10:49:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。