論文の概要: DealMaTe: Multi-Dimensional Material Transfer via Diffusion Transformer
- arxiv url: http://arxiv.org/abs/2605.15681v1
- Date: Fri, 15 May 2026 07:06:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.203784
- Title: DealMaTe: Multi-Dimensional Material Transfer via Diffusion Transformer
- Title（参考訳）: DealMaTe:拡散変圧器による多次元物質移動
- Abstract要約: DealMaTeは、テキストガイダンスと参照ネットワークを排除する拡散フレームワークである。
DealMaTeは任意の入力材料の下で顕著な高忠実度物質移動を実現する。
- 参考スコア（独自算出の注目度）: 45.232470509013815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, diffusion-based material transfer methods rely on image fine-tuning or complex architectures with auxiliary networks but face challenges such as text dependency, additional computational costs, and feature misalignment. To address these limitations, we propose \textbf{DealMaTe}, using \underline{\textbf{de}}pth, norm\underline{\textbf{a}}l, and \underline{\textbf{l}}ighting images for \underline{\textbf{ma}}terial \underline{\textbf{t}}ransf\underline{\textbf{e}}r. DealMaTe is a simplified diffusion framework that eliminates text guidance and reference networks. We design a lightweight 3D information injection method, Multi-Dim 3D Shader LoRA, which, without modifying the base model weights, enables compatible control conditions and achieves harmonious and stable results. Additionally, we optimize the attention mechanism with Shader Causal Mutual Attention and key-value (KV) caching to reduce inference latency caused by multiple conditions, improve computational efficiency, and achieve high-quality material transfer results with low architectural complexity. Extensive experiments covering a wide variety of objects and lighting conditions consistently demonstrate that DealMaTe achieves remarkable high-fidelity material transfer under arbitrary input materials. The code is available at https://github.com/haha-lisa/DealMaTe.
- Abstract（参考訳）: 近年,拡散型物質移動法は画像の微調整や補助的ネットワークによる複雑なアーキテクチャに依存しているが,テキスト依存や計算コストの増大,特徴の誤調整といった課題に直面している。
これらの制限に対処するため、 \underline{\textbf{de}}pth, norm\underline{\textbf{a}}l, \underline{\textbf{l}}ighting image for \underline{\textbf{ma}}terial \underline{\textbf{t}}ransf\underline{\textbf{e}}rを用いて、 \textbf{DealMaTe}を提案する。
DealMaTeは、テキストのガイダンスと参照ネットワークを排除する単純化された拡散フレームワークである。
基本モデルの重みを変更しない軽量な3次元情報注入方式であるMulti-Dim 3D Shader LoRAを設計し、互換性のある制御条件を実現し、調和と安定した結果を得る。
さらに,Shader Causal Mutual Attention and Key-value(KV)キャッシングによるアテンション機構を最適化し,複数の条件による推論遅延を低減し,計算効率を向上し,アーキテクチャの複雑さを低減した高品質な物質移動結果を実現する。
様々な物体や照明条件を包含する広範囲な実験は、任意の入力材料の下で、DealMaTeが顕著な高忠実性物質移動を達成することを一貫して証明している。
コードはhttps://github.com/haha-lisa/DealMaTeで入手できる。
関連論文リスト
- $K$-NeAS: Scalable Multi-Material CT Reconstruction Using Neural SDFs [0.0]
入射シーン表現(ISR)は、スパースプロジェクションから直接連続的な体積減衰場を復元することでこの問題に対処する。
本稿では, 自動多材料表面再構成のための統一かつスケーラブルなアーキテクチャであるK$-NeASを提案する。
論文 参考訳（メタデータ） (2026-07-15T23:08:45Z) - SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models [75.75091459417304]
LVLM(Large Vision-Language Models)はマルチモーダル理解において顕著な進歩を遂げている。
LVLMはメモリと遅延のオーバーヘッドをかなり発生させ、リソース制約のあるデバイスへの実際のデプロイメントを著しく制限する。
本稿では,ストレージと計算コストを大幅に削減するバイナライズ手法を提案する。
論文 参考訳（メタデータ） (2026-07-02T08:30:00Z) - MaTe: Images Are All You Need for Material Transfer via Diffusion Transformer [21.547583825573255]
MaTeは、テキストのガイダンスと参照ネットワークを排除した、合理化された拡散フレームワークである。
トークンレベルで入力画像を統合し、共有潜在空間におけるマルチモーダルアテンションによる統一処理を可能にする。
視覚的品質と効率の両面で最先端の手法より優れており、正確な細かなアライメントを保っている。
論文 参考訳（メタデータ） (2026-05-15T06:31:41Z) - Unleashing Degradation-Carrying Features in Symmetric U-Net: Simpler and Stronger Baselines for All-in-One Image Restoration [52.82397287366076]
オールインワン画像復元は、統合された枠組み内で様々な劣化(ノイズ、ぼかし、悪天候など)を扱うことを目的としている。
本研究では, 優れた特徴抽出法により, 劣化伝達情報を本質的にエンコードする, 重要な知見を明らかにする。
我々の対称設計は固有の劣化信号を頑健に保存し、スキップ接続に単純な加法融合を施す。
論文 参考訳（メタデータ） (2025-12-11T12:20:31Z) - IMG: Calibrating Diffusion Models via Implicit Multimodal Guidance [74.89810064807142]
Implicit Multimodal Guidance(IMG)は、新しい世代ベースのマルチモーダルアライメントフレームワークである。
IMGはミスアライメントを特定し、再アライメント目標をトレーニング可能な目標に定式化する。
IMGはフレキシブルなプラグアンドプレイアダプタとして機能し、ファインチューニングベースのアライメント手法をシームレスに強化する。
論文 参考訳（メタデータ） (2025-09-30T13:27:03Z) - Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。
マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。
本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
論文 参考訳（メタデータ） (2025-06-09T17:54:04Z) - RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。
複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。
スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
論文 参考訳（メタデータ） (2024-10-08T17:40:01Z) - Magnet: We Never Know How Text-to-Image Diffusion Models Work, Until We Learn How Vision-Language Models Function [13.588643982359413]
属性理解におけるCLIPテキストエンコーダの限界を批判的に検討し,それが拡散モデルに与える影響について検討する。
属性結合問題に対処するための新しいトレーニング不要アプローチである textbf magnet を提案する。
論文 参考訳（メタデータ） (2024-09-30T05:36:24Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳（メタデータ） (2022-12-06T14:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。