論文の概要: FAST: Flow Any Scene Transformer

• arxiv url: http://arxiv.org/abs/2609.39748v1
• Date: Wed, 30 Sep 2026 13:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.855477
• Title: FAST: Flow Any Scene Transformer
• Title（参考訳）: FAST: あらゆるシーントランスを流す
• Abstract要約: スケーリングは、言語とビジョン基盤モデルの進歩の原動力となっている。 Flow Any Scene Transformer (FAST)は、2つの重要な洞察によって駆動されるスケーラブルな対応モデルである。 FASTは、バックボーンサイズとトレーニングデータの両方で適切にスケーリングしながら、幅広いベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 100.4134849010468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling has become a primary driver of progress in language and vision foundation models, yet its role in precise correspondence matching remains underexplored. In this work, we present Flow Any Scene Transformer (FAST), a scalable correspondence model driven by two key insights. First, we reveal that the query-key projections inside single-view vision foundation models encode a coarse yet reusable prior for cross-view matching. Second, reusing these pretrained projections in cross-attention form yields a highly effective initialization for a ViT-based matcher built from a single-view encoder. Guided by these insights, we build FAST upon a vanilla single-view foundation model, utilizing a zero-parameter rewiring strategy to convert selected self-attention layers into cross-attention for cross-view interaction. This design allows ViT-based matchers to scale with advances in single-view foundation models, bypassing the need for a dedicated pair-centric pretraining stage. To fully unlock the scaling potential of this formulation, we assemble a 6-million-pair training corpus for general-purpose dense 2D displacement estimation across diverse co-visible image pairs. Extensive experiments demonstrate that FAST achieves state-of-the-art performance across a wide range of benchmarks, while scaling favorably with both backbone size and training data.
• Abstract（参考訳）: スケーリングは言語および視覚基盤モデルの進歩の原動力となっているが、正確な対応マッチングにおけるその役割は未解明のままである。 本稿では,FAST(Flow Any Scene Transformer)について紹介する。 まず、単一視点視基盤モデル内のクエリキープロジェクションが、クロスビューマッチングに先立って、粗いが再利用可能なことを明らかにした。 第二に、これらの事前訓練された投影をクロスアテンション形式で再利用することで、シングルビューエンコーダから構築されたViTベースのマーカの高効率な初期化が得られる。 これらの知見に導かれたFASTは、ゼロパラメータ変更戦略を利用して、選択した自己注意層をクロスアテンションに変換して、クロスアテンションのインタラクションを実現するバニラ単一ビュー基盤モデルに基づいて構築される。 この設計により、ViTベースのマッカーは、専用のペア中心の事前訓練ステージの必要性を回避し、シングルビュー基礎モデルの進歩とともにスケールすることができる。 この定式化のスケーリングポテンシャルを完全に解き放つために、多種多様な可視像対にまたがる汎用密度2次元変位推定のための600万対のトレーニングコーパスを組み立てる。 大規模な実験により、FASTは幅広いベンチマークで最先端のパフォーマンスを達成し、バックボーンサイズとトレーニングデータの両方で好適なスケーリングを実現している。

関連論文リスト

• UniViTAR: Unified Vision Transformer with Native Resolution [37.63387029787732]
  UniViTARは、視覚の統一性とネイティブ解像度のシナリオに適した、均質な視覚基盤モデルのファミリーである。 2つのコアメカニズムを戦略的に組み合わせたプログレッシブトレーニングパラダイムが導入された。 並行して、ハイブリッドトレーニングフレームワークは、凍結教師モデルからの特徴蒸留に伴うシグモイドに基づくコントラスト損失をさらにシナジする。
  論文  参考訳（メタデータ） (2025-04-02T14:59:39Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Multi-scale Alternated Attention Transformer for Generalized Stereo Matching [7.493797166406228]
  両視野および単一視野におけるエピポーラ線の影響のバランスをとるために,Alternated Attention U-shaped Transformer (AAUformer) と呼ばれる簡易かつ高効率なネットワークを提案する。 他のモデルと比較して、我々のモデルはいくつかの主要な設計を持っている。 我々はいくつかの主流ステレオマッチングデータセットについて比較研究とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-08-06T08:22:39Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)
• ViT-Calibrator: Decision Stream Calibration for Vision Transformer [49.60474757318486]
  本稿では、一般的な視覚変換器の性能を高めるための、決定ストリームと呼ばれる新しいパラダイムを提案する。 異なるトークンと複数の次元の関連係数の相関関係を探索し,学習過程における情報伝達機構について光を当てた。
  論文  参考訳（メタデータ） (2023-04-10T02:40:24Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。