論文の概要: Uncertainty-Aware Cross-Modal Transfer Network for Sketch-Based 3D Shape Retrieval

• arxiv url: http://arxiv.org/abs/2308.05948v1
• Date: Fri, 11 Aug 2023 05:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-08-14 15:05:22.840503
• Title: Uncertainty-Aware Cross-Modal Transfer Network for Sketch-Based 3D Shape Retrieval
• Title（参考訳）: 不確実性を考慮したスケッチ型3次元形状検索用クロスモーダル転送ネットワーク
• Authors: Yiyang Cai, Jiaming Lu, Jiewen Wang, Shuang Liang
• Abstract要約: 本稿では,この問題に対処する不確実性を考慮したクロスモーダルトランスファーネットワーク(UACTN)を提案する。 まず、スケッチ機能と不確実性を同時に学習するエンドツーエンドの分類ベースのアプローチを導入する。 そして、3D形状特徴を予め学習したスケッチ埋め込み空間にマッピングして特徴アライメントを行う。
• 参考スコア（独自算出の注目度）: 8.765045867163646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, sketch-based 3D shape retrieval has attracted growing attention. While many previous studies have focused on cross-modal matching between hand-drawn sketches and 3D shapes, the critical issue of how to handle low-quality and noisy samples in sketch data has been largely neglected. This paper presents an uncertainty-aware cross-modal transfer network (UACTN) that addresses this issue. UACTN decouples the representation learning of sketches and 3D shapes into two separate tasks: classification-based sketch uncertainty learning and 3D shape feature transfer. We first introduce an end-to-end classification-based approach that simultaneously learns sketch features and uncertainty, allowing uncertainty to prevent overfitting noisy sketches by assigning different levels of importance to clean and noisy sketches. Then, 3D shape features are mapped into the pre-learned sketch embedding space for feature alignment. Extensive experiments and ablation studies on two benchmarks demonstrate the superiority of our proposed method compared to state-of-the-art methods.
• Abstract（参考訳）: 近年,スケッチに基づく3次元形状検索が注目されている。 従来,手描きスケッチと3次元形状のクロスモーダルマッチングに焦点が当てられていたが,スケッチデータの低品質でノイズの多いサンプルをどう扱うかという重要な問題は無視されてきた。 本稿では,この問題に対処する不確実性を考慮したクロスモーダルトランスファーネットワーク(UACTN)を提案する。 UACTNはスケッチと3D形状の表現学習を、分類に基づくスケッチの不確実性学習と3D形状の特徴伝達という2つのタスクに分離する。 まず,スケッチの特徴と不確実性を同時に学習し,クリーンでノイズの多いスケッチに異なるレベルの重要度を割り当てることで,ノイズの多いスケッチが過度に収まらないようにする。 そして、3D形状特徴を予め学習したスケッチ埋め込み空間にマッピングして特徴アライメントを行う。 2つのベンチマークの大規模な実験とアブレーション研究により,提案手法が最先端手法よりも優れていることを示す。

関連論文リスト

• Sketch2PoseNet: Efficient and Generalized Sketch to 3D Human Pose Prediction [34.19632657034878]
  多様なスケッチスタイルから人間のポーズや形状を推定するためのエンドツーエンドのデータ駆動フレームワークを提案する。 本フレームワークは,既存の2次元ポーズ検出器とスケッチ特徴抽出のための生成拡散先行情報と,効率的な2次元ポーズ推定のためのフィードフォワードニューラルネットワークを組み合わせる。 提案手法は,スケッチ・トゥ・プレイス作業における推定精度と速度の両方において,従来のモデルを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-10-30T07:13:46Z)
• sketch2symm: Symmetry-aware sketch-to-shape generation via semantic bridging [12.390999095290404]
  スケッチから幾何学的に一貫した3Dを生成する2段階生成法であるSketch2Symmを提案する。 本手法では,スケッチ・ツー・イメージ変換によるセマンティック・ブリッジングを導入し,スパース・スケッチ表現を充実させる。 提案手法は,既存のスケッチベース再構築手法に比べて,シャンファー距離,アースモーバー距離,Fスコアの面で優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-10-13T11:49:45Z)
• Proto-FG3D: Prototype-based Interpretable Fine-Grained 3D Shape Classification [59.68055837500357]
  本稿では,3次元形状のきめ細かい分類のためのプロトタイプベースフレームワークProto-FG3Dを提案する。 Proto-FG3Dは、Prototype Associationを介して、共同でマルチビューとマルチカテゴリ表現学習を確立する。 Proto-FG3Dは、精度、透明な予測、そして視覚化によるアドホックな解釈可能性において最先端の手法を超越している。
  論文  参考訳（メタデータ） (2025-05-23T09:31:02Z)
• Surface-Aware Distilled 3D Semantic Features [9.649689569866505]
  ポーズアライメント、アニメーション、モーショントランスファー、そして3D再構成といった多くの3Dタスクは、3D形状間の対応を確立することに依存している。 これらの曖昧さに頑健な表面認識型埋め込み空間を学習し、3次元形状の家族全体の共有マッピングを容易にする。 2D-to-3D や 3D-to-3D のテクスチャ転送を含む下流アプリケーションを実現する。
  論文  参考訳（メタデータ） (2025-03-24T00:36:16Z)
• Multi-Style Facial Sketch Synthesis through Masked Generative Modeling [17.313050611750413]
  本稿では,画像と対応するマルチスタイリズドスケッチを効率よく変換する軽量なエンドツーエンド合成モデルを提案する。 本研究では,半教師付き学習を学習プロセスに取り入れることで,データ不足の問題を克服する。 提案手法は,複数のベンチマークで従来アルゴリズムより常に優れていた。
  論文  参考訳（メタデータ） (2024-08-22T13:45:04Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• Cross-modal and Cross-domain Knowledge Transfer for Label-free 3D Segmentation [23.110443633049382]
  本稿では,画像と点雲の関係を網羅的に探究することで,クロスモーダル・クロスドメイン適応に挑戦する新しい手法を提案する。 KITTI360 と GTA5 の知識を用いて,セマンティック KITTI 上の3次元クラウドセマンティックセマンティックセマンティックスセグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-19T14:29:57Z)
• Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation [13.47191379827792]
  そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。 トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。 これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
  論文  参考訳（メタデータ） (2023-07-08T00:45:01Z)
• Joint Deep Multi-Graph Matching and 3D Geometry Learning from Inhomogeneous 2D Image Collections [57.60094385551773]
  非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。 さらに,2次元画像で表現された物体の3次元形状も取得する。
  論文  参考訳（メタデータ） (2021-03-31T17:25:36Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。