論文の概要: Rethinking Data Efficiency in Industrial Dense Prediction: Pretraining Coherence, Not Inductive Bias, Determines ViTs Low-Data Advantage

• arxiv url: http://arxiv.org/abs/2608.10590v1
• Date: Tue, 11 Aug 2026 07:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.949029
• Title: Rethinking Data Efficiency in Industrial Dense Prediction: Pretraining Coherence, Not Inductive Bias, Determines ViTs Low-Data Advantage
• Title（参考訳）: 産業密度予測におけるデータ効率の再考:コヒーレンス、誘導バイアス、低データアドバンテージの決定
• Abstract要約: ヴィジュアルトランスフォーマー(ViT)は産業密集予測のためにCNNよりもラベル付きデータを必要とすると広く信じられている。 データ効率のギャップは、事前学習の不整合に起因することを示す。 ピラミッドレベルの特徴再構成のための軽量なAlignBlockファミリを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision Transformers (ViTs) are widely believed to require more labeled data than CNNs for industrial dense prediction. Through controlled experiments on four industrial datasets, we show that the data-efficiency gap stems from pretraining incoherence, which refers to the statistical mismatch between ImageNet-pretrained ViT backbones and COCO-pretrained CNN necks, rather than from inherent self-attention deficits. We characterize the cross-architecture feature gap and propose a lightweight AlignBlock family for pyramid-level feature recalibration. Our core finding empirically identifies a data-efficiency frontier: for domain-proximal scenes with >= 200 samples, Swin-Graft surpasses YOLOv11x (terminal 703-shot: 0.973 vs 0.956 mAP@50); for domain-distant scenes, CNNs retain advantage (hook 141-shot: 0.900 vs 0.600 mAP@50). Grafted neck weights yield up to 2.5x the mAP of a randomly initialized neck.
• Abstract（参考訳）: ヴィジュアルトランスフォーマー(ViT)は産業密集予測のためにCNNよりもラベル付きデータを必要とすると広く信じられている。 4つの産業データセットの制御実験により、データ効率ギャップは、自己注意障害ではなく、ImageNet-pretrained ViT backbonesとCOCO-pretrained CNN necksとの統計的ミスマッチに起因していることが示されている。 クロスアーキテクチャ機能ギャップを特徴付けるとともに,ピラミッドレベルの特徴再構成のための軽量なAlignBlockファミリを提案する。 Swin-Graft は YOLOv11x (terminal 703-shot: 0.973 vs 0.956 mAP@50); ドメイン依存のシーンでは CNN が有利(hook 141-shot: 0.900 vs 0.600 mAP@50)である。 移植ネック重量はランダムに初期化したネックのmAPの2.5倍になる。

関連論文リスト

• HyFormer-Net: A Synergistic CNN-Transformer with Interpretable Multi-Scale Fusion for Breast Lesion Segmentation and Classification in Ultrasound Images [0.0]
  HyFormer-Netは、本質的に解釈可能な同時セグメンテーションと分類のためのハイブリッドCNN変換器である。 BUSIデータセットでは、HyFormer-NetがDice Score 0.761 +/-0.072と精度93.2%を獲得し、U-Net、Attention U-Net、TransUNetを上回っている。 乳房超音波におけるハイブリッドCNN変換器のクロスデータセット一般化研究を初めて行った。
  論文  参考訳（メタデータ） (2025-11-02T17:06:12Z)
• OmniTraj: Pre-Training on Heterogeneous Data for Adaptive and Zero-Shot Human Trajectory Prediction [62.385417528148224]
  OmniTrajは、大規模な異種データセットで事前トレーニングされたトランスフォーマーベースのモデルである。 実験によると、フレームレートを明示的に条件付けすることで、OmniTrajは最先端のゼロショット転送性能を実現することができる。
  論文  参考訳（メタデータ） (2025-07-31T15:37:09Z)
• 4,500 Seconds: Small Data Training Approaches for Deep UAV Audio Classification [2.3354223046061016]
  本研究では,UAV分類における深層学習のアプローチについて,データ不足の重要な問題に着目して検討する。 合計4,500秒のオーディオサンプルを使用してモデルをトレーニングし、9クラスのデータセットに均等に分散する。 我々は、畳み込みニューラルネットワーク(CNN)とアテンションベースのトランスフォーマーの使用を比較した。
  論文  参考訳（メタデータ） (2025-05-21T22:34:07Z)
• When do Convolutional Neural Networks Stop Learning? [0.0]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンタスクにおいて優れた性能を示した。 現在の実践は、トレーニング損失が減少し、トレーニングと検証エラーの間のギャップが増加すると、トレーニングをやめることである。 この研究は、CNNの変種の全層にわたるデータ変動を分析し、その準最適学習能力を予測する仮説を導入している。
  論文  参考訳（メタデータ） (2024-03-04T20:35:09Z)
• Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
  ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。 ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
  論文  参考訳（メタデータ） (2023-06-16T21:53:16Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions [95.94629864981091]
  この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。 提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-10T18:59:04Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• CNN AE: Convolution Neural Network combined with Autoencoder approach to detect survival chance of COVID 19 patients [11.121959969774327]
  臨床情報に基づいて訓練したCNNを用いて、新型コロナウイルス患者の生存率を予測する新しいCNN-AE法を提案する。 予測精度をさらに高めるために、CNNをオートエンコーダと組み合わせて使用します。
  論文  参考訳（メタデータ） (2021-04-18T20:31:17Z)
• Deep learning for gravitational-wave data analysis: A resampling white-box approach [62.997667081978825]
  我々は、LIGO検出器からの単一干渉計データを用いて、畳み込みニューラルネットワーク(CNN)を用いて、コンパクトなバイナリコレッセンスにおける重力波(GW)信号を検出する。 CNNはノイズを検出するのに非常に正確だが、GW信号のリコールに十分な感度がないため、CNNはGWトリガの生成よりもノイズ低減に適している。
  論文  参考訳（メタデータ） (2020-09-09T03:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。