論文の概要: PRISM-Net: Dynamic Routing Network with VLM-Guided Disentangled Attribute Distillation for Explainable Fine-Grained Product Retrieval
- arxiv url: http://arxiv.org/abs/2611.00458v1
- Date: Fri, 30 Oct 2026 23:21:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:01:33.039856
- Title: PRISM-Net: Dynamic Routing Network with VLM-Guided Disentangled Attribute Distillation for Explainable Fine-Grained Product Retrieval
- Title(参考訳): PRISM-Net: 説明可能な細粒度検索のためのVLM誘導分散属性蒸留を用いた動的ルーティングネットワーク
- Abstract要約: PRISM-Netは、総合的な視覚的特徴をアンタングルされた線とカラー専門家の経路に分解するセマンティック・オブ・エキスパート・ネットワークである。
第1相では, 勾配分離型ルーティングゲートを用いた外部VLM誘導シグモイド意味蒸留機構を導入する。
位相2では、アンタングル化された専門家埋め込みは、学習されたメタルータゲートを介してマクロベース特徴と適応的に融合し、カテゴリ境界を校正する。
- 参考スコア(独自算出の注目度): 0.14323566945483493
- License:
- Abstract: Fine-grained visual product retrieval in large-scale e-commerce multimedia systems demands discriminative representations capable of simultaneously resolving macro-level category semantics and micro-level visual attributes such as structural contour (line) and chromatic appearance (color). However, conventional backbones including convolutional neural networks (CNNs) and vision Transformers (ViTs) inherently suffer from feature entanglement and shortcut learning. To learn the micro-level visual attributes without costly manual attribute annotations, we propose phase-routed interpretable semantic mixture-of-experts network (PRISM-Net), an explainable multi-expert architecture that disentangles holistic visual features into disentangled line and color expert pathways governed by a conditional meta-router. In phase 1, we introduce an external VLM-Guided sigmoid semantic distillation mechanism with gradient-detached routing gates, utilizing zero-shot text prompts from SigLIP to supervise specialized structural and chromatic experts. In phase 2, the disentangled expert embeddings are adaptively fused with macro base features via a learned meta-router gate to calibrate category boundaries. Extensive 5-fold cross-validation across 275,454 e-commerce images (18 categories) and full-scale retrieval benchmarks (55,091 queries against a 220,363-image gallery) across SwinV2, ConvNeXt-V2, and DINOv3 demonstrate substantial gains. On SwinV2, PRISM-Net boosts full-fold product mAP@10 from 80.98% to 83.90% (+2.92%), line mAP@10 by +5.74%, and color mAP@10 by +9.12%. Furthermore, unsupervised distribution analysis of the meta-router gate reveals that both ViT and CNN backbones emergently allocate up to 6.8x higher structural line weights to rigid appliances and hardware while dedicating >96% chromatic weight to clothing.
- Abstract(参考訳): 大規模eコマースマルチメディアシステムにおけるきめ細かいビジュアル製品検索は、マクロレベルのカテゴリ意味と、構造輪郭(線)や色相(色)といったミクロレベルの視覚特性を同時に解決できる識別的表現を要求する。
しかし、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む従来のバックボーンは、本質的に特徴の絡み合いとショートカット学習に悩まされている。
マイクロレベルの視覚的属性を,手作業によるアノテーションを使わずに学習するために,条件付きメタルータによって制御される視覚的特徴をアンタングルされた線とカラーエキスパート経路に分解するマルチエキスパートアーキテクチャであるPRISM-Netを提案する。
第1相では、SigLIPからのゼロショットテキストプロンプトを利用して、外部のVLM誘導シグモイドセマンティック蒸留機構を導入し、特殊構造および色調の専門家を監督する。
位相2では、アンタングル化された専門家埋め込みは、学習されたメタルータゲートを介してマクロベース特徴と適応的に融合し、カテゴリ境界を校正する。
275,454のeコマースイメージ(18カテゴリ)とSwinV2、ConvNeXt-V2、DINOv3にまたがるフルスケールのベンチマーク(220,363イメージギャラリーに対する55,091のクエリ)にわたる5倍のクロスバリデーションが、かなりの伸びを示している。
SwinV2では、PRISM-Netはフルフォールディング製品のmAP@10を80.98%から83.90%(+2.92%)、ラインのmAP@10を+5.74%、カラーのmAP@10を+9.12%に引き上げている。
さらに、メタルータゲートの教師なし分布分析により、ViTとCNNのバックボーンは、衣類に96%の彩色重量を捧げながら、硬質家電やハードウェアに最大6.8倍高い構造線重量を割り当てていることが明らかとなった。
関連論文リスト
- Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。
AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする
我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
論文 参考訳(メタデータ) (2026-03-12T18:19:21Z) - Rule-Based Spatial Mixture-of-Experts U-Net for Explainable Edge Detection [0.0]
ルールベースの空間混合U-Netは、高性能深層学習と解釈可能な論理のギャップを埋める。
提案手法をBSDS500ベンチマークで評価し, 最適データセットスケール(ODS)Fスコア0.7628を達成した。
我々のモデルは、"Rule Firing Maps"と"Strategy Maps"を通じてピクセルレベルの説明可能性を提供する。
論文 参考訳(メタデータ) (2026-02-04T22:33:18Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳(メタデータ) (2026-01-30T06:44:33Z) - SpaRTAN: Spatial Reinforcement Token-based Aggregation Network for Visual Recognition [15.125734989910429]
SpaRTANは、空間的およびチャネル的な情報処理を強化する軽量なアーキテクチャ設計である。
SpaRTANは、競争性能を維持しながら、顕著な効率を達成する。
論文 参考訳(メタデータ) (2025-07-15T05:34:56Z) - Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。
本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。
MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。
我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
論文 参考訳(メタデータ) (2023-06-21T16:52:20Z) - Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。
本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。
提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-06-20T18:42:44Z) - Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。
ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。
HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
論文 参考訳(メタデータ) (2022-03-29T07:55:08Z) - ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for
Image Recognition and Beyond [76.35955924137986]
我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
論文 参考訳(メタデータ) (2022-02-21T10:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。