論文の概要: Seeing Through Extreme Visual Sparsity: Surface Understanding from a Single Random Visual Patch

• arxiv url: http://arxiv.org/abs/2608.29475v1
• Date: Sun, 30 Aug 2026 00:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.977586
• Title: Seeing Through Extreme Visual Sparsity: Surface Understanding from a Single Random Visual Patch
• Title（参考訳）: 極端に視覚的な空間:1つのランダムな視覚的パッチによる表面理解
• Abstract要約: 本稿では,4つの事前学習型アーキテクチャを準多面的表面再構成と材料分類に適用する,統合されたデュアルタスク学習フレームワークについて論じる。 スパース観測プロトコルを用いてTouch-and-Goデータセット上で実験を行った。 Swin Transformerは89.21%、F1スコア0.8922、ROC-AUC0.9813で最高の分類性能を達成した。
• 参考スコア（独自算出の注目度）: 3.466510324781552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surface material recognition from incomplete visual observations remains a challenging problem in robotic perception and environmental understanding. This paper discusses Sparse Surface Understanding Framework (SSUF), a unified dual-task learning framework that adapts four pretrained architectures-Convolutional Autoencoder (ConvAE), Vision Transformer (ViT), Swin Transformer, and Masked Autoencoder (MAE) for si-multaneous surface reconstruction and material classification. Experiments were conducted on the Touch-and-Go dataset using a sparse observation protocol in which only 10% of the original image remained visible while the remaining regions were masked. To enable a fair comparison, reconstruction-oriented models were extended with classification heads, whereas classification- oriented models were augmented with reconstruction decoders. The resulting architectures were assessed using reconstruction quality, classification performance, model complexity, and in-ference efficiency metrics. Experimental results revealed distinct strengths across the models. Swin Transformer achieved the best classification performance with an accuracy of 89.21%, an F1-score of 0.8922, and a ROC-AUC of 0.9813. In contrast, MAE produced the highest reconstruction scores among evaluated models, with a PSNR of 16.06 dB and an SSIM of 0.4501, while ViT provided the best overall balance between reconstruction and classification performance. Furthermore, all models achieved real-time inference, requiring less than 5 ms per image. Over-all, the results show that pretrained architectures can support material recognition under severe visual sparsity, while accurate image reconstruction remains challenging.
• Abstract（参考訳）: 不完全な視覚観察から表面物質を認識することは、ロボットの知覚と環境理解において難しい問題である。 本稿では,SSUF(Sparse Surface Understanding Framework)について論じる。SSUF(Sparse Surface Understanding Framework)は,コンボリューショナルオートエンコーダ(ConvAE),ビジョントランスフォーマー(ViT),スウィントランスフォーマー(Swin Transformer),マスケッドオートエンコーダ(Masked Autoencoder,MAE)の4つの事前学習アーキテクチャに対応し,準多元的な表面再構成と材料分類を行う。 Touch-and-Goデータセット上で、残りの領域がマスクされている間、元の画像の10%しか見えないスパース観測プロトコルを用いて実験を行った。 公平な比較を可能にするために、再構成指向モデルは分類ヘッドで拡張され、分類指向モデルは再構成デコーダで拡張された。 得られたアーキテクチャは、再構築品質、分類性能、モデルの複雑さ、推論効率のメトリクスを使用して評価された。 実験結果から, モデル間に異なる強度が認められた。 Swin Transformerは89.21%、F1スコア0.8922、ROC-AUC0.9813で最高の分類性能を達成した。 対照的に、PSNRは16.06dB、SSIMは0.4501であり、ViTは再構築と分類性能のバランスが良い。 さらに、すべてのモデルがリアルタイムの推論を達成し、1画像あたり5ミリ秒未満できました。 以上の結果から、事前学習されたアーキテクチャは、深刻な視覚空間下での物質認識をサポートすることができる一方で、正確な画像再構成は依然として困難であることが判明した。

関連論文リスト

• Performance and Interpretability of Convolutional, Transformer, and Hybrid Deep Learning Models in Colorectal Histology Classification [0.0]
  本研究では, Kather の大腸癌組織学データセットを用いて, ImageNet-pretrained CNN, Transformer, Hybrid Architectures の12種類の評価を行った。 EVA-02は最高性能(精度97.1%、F1スコア97.0%)を達成し、その後ViT-B/16が続いた。
  論文  参考訳（メタデータ） (2026-06-21T18:56:42Z)
• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• One Patch is All You Need: Joint Surface Material Reconstruction and Classification from Minimal Visual Cues [0.9649815778578629]
  最小限の視覚入力から表面マテリア再構成と分類のための統一モデルSMARCを導入する。 画像の10%の連続パッチしか与えないSMARCは、材料カテゴリを同時に分類しながら、完全なRGB表面を認識し、再構成する。 SMARCは、PSNRは17.55dB、材料分類精度は85.10%である。
  論文  参考訳（メタデータ） (2025-11-25T19:21:27Z)
• When CNNs Outperform Transformers and Mambas: Revisiting Deep Architectures for Dental Caries Segmentation [9.108764893521526]
  コンボリューションニューラルネットワーク,ビジョントランスフォーマー,および状態空間のマンバアーキテクチャを,DC1000データセットによるパノラマX線写真による自動歯列セグメンテーションのために,初めて包括的なベンチマークを行った。 その結果、CNNベースのDoubleU-Netは、複雑な注意に基づくアーキテクチャの傾向とは対照的に、最も高いダイス係数は0.7345、mIoUは0.5978、精度は0.8145となり、全ての変圧器やマンバの変圧器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-11-18T19:16:21Z)
• Physics-Guided Null-Space Diffusion with Sparse Masking for Corrective Sparse-View CT Reconstruction [5.479463752172751]
  拡散モデルは画像処理タスクにおいて顕著な生成能力を示した。 スパース・ビューCT再構成のためのスパース・コンディション・リワイト統合分布推定誘導拡散モデル(STRIDE)を提案する。 実験結果から,PSNRでは2.58dB,SSIMでは2.37%,MSEでは0.236に改善した。
  論文  参考訳（メタデータ） (2025-09-07T09:42:16Z)
• Pose Matters: Evaluating Vision Transformers and CNNs for Human Action Recognition on Small COCO Subsets [0.0]
  本研究では,COCO画像コーパスの3クラスサブセットを用いた人間の認識について検討する。 バイナリビジョン変換器(ViT)は90%の平均テスト精度を達成した。
  論文  参考訳（メタデータ） (2025-06-13T11:16:50Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
  このデータセットをRIVAL10と呼びます。 本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。 本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
  論文  参考訳（メタデータ） (2022-01-26T06:31:28Z)
• Vision Transformers for femur fracture classification [59.99241204074268]
  Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。 史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
  論文  参考訳（メタデータ） (2021-08-07T10:12:42Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。