論文の概要: SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features

• arxiv url: http://arxiv.org/abs/2609.19483v1
• Date: Wed, 16 Sep 2026 22:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.028142
• Title: SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features
• Title（参考訳）: SCOUT:凍結映像機能に対する埋め込み空間予測によるテキスト検索
• Abstract要約: 埋め込み空間の予測としてクロスモーダル検索を行うSCOUTを提案する。 トレーニング可能な予測器は、凍結ビデオエンコーダのパッチトークンを凍結テキストエンコーダの埋め込み空間にマッピングする。 AIシティチャレンジ2026トラック4では、フルフューズリロードシステムが最終リーダーボード上で84.25 mAP@10に到達し、フリーズモデルが単独で60.63に到達した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-based person retrieval under a sim-to-real gap (synthetic training data, a real-image gallery) is usually tackled with costly fine-tuned cross-encoders. We ask whether a frozen-encoder system can compete. We present SCOUT, which casts cross-modal retrieval as prediction in embedding space. A trainable predictor maps the patch tokens of a frozen video encoder into the embedding space of a frozen text encoder under a bidirectional InfoNCE objective, and no encoder is fine-tuned in the base model. The video encoder is V-JEPA, the text encoder is EmbeddingGemma, and the predictor is initialized from a Qwen3.5-0.8B decoder. We make three findings. First, the best frozen text encoder is simply the one whose geometry best matches the video features. A training-free alignment score ranks three candidate text encoders in the same order as their retrieval accuracy on our held-out split (Spearman $ρ= 1.0$); a fourth, LLM-based encoder shows the rule is metric-dependent, holding for a neighborhood-overlap score ($ρ= 0.8$) but not for a linear probe ($ρ= -0.2$). Second, two precision-targeted levers, parameter-efficient ExPLoRA adaptation of the video encoder and a training-free attribute-decomposed reranker built on a vision-language model, improve the top-rank precision that otherwise limits the frozen system, adding 2.2 points of leaderboard R@1. Third, a local-versus-public calibration study explains which interventions transfer to the real domain. On AI City Challenge 2026 Track 4 the full retrieve-fuse-rerank system reaches 84.25 mAP@10 on the final leaderboard, while a single frozen model submitted alone reaches 60.63. Our trained components cost about 95 GPU-hours. CMP, the dataset authors' fine-tuned cross-encoder that trains for sixteen GPU-days, is one fusion member of the full system, not an alternative. Code and annotations: https://github.com/abtraore/SCOUT-ECCV
• Abstract（参考訳）: テキストベースの人物検索は、シム・トゥ・リアル・ギャップ(合成トレーニングデータ、実画像ギャラリー)の下では通常、コストのかかる微調整のクロスエンコーダによって取り組まれる。 フリーズエンコーダシステムが競合するかどうかを問う。 埋め込み空間の予測としてクロスモーダル検索を行うSCOUTを提案する。 トレーニング可能な予測器は、凍結ビデオエンコーダのパッチトークンを双方向InfoNCE目標の下で凍結テキストエンコーダの埋め込み空間にマッピングし、ベースモデルにエンコーダを微調整しない。 ビデオエンコーダはV-JEPA、テキストエンコーダはEmbedingGemma、予測器はQwen3.5-0.8Bデコーダから初期化される。 私たちは3つの発見をした。 まず、最高に凍ったテキストエンコーダは、ビデオ機能に最適なジオメトリである。 トレーニングなしアライメントスコアは、私たちが保持している分割(Spearman $ρ=1.0$)において、検索精度と同じ順に3つの候補テキストエンコーダをランク付けする(Spearman $ρ=1.0$)。 第二に、2つの精度目標レバー、パラメータ効率のよいビデオエンコーダのExPLoRA適応と、視覚言語モデル上に構築されたトレーニング不要な属性分解リランカ、凍結したシステムに制限を与えるトップランク精度の改善、R@1の2.2ポイントの追加。 第三に、地方住民による校正調査では、どの介入が実際のドメインに移行するかが説明されている。 AIシティチャレンジ2026 トラック4では、リトリーブ・フューズ・リロードシステムが最終リーダーボード上で84.25 mAP@10に到達し、凍結されたモデルが単独で60.63に到達した。 トレーニング済みのコンポーネントは約95GPU時間です。 データセット作成者の微調整されたクロスエンコーダであるCMPは16GPU日をトレーニングしており、代替ではなく、フルシステムの1つの融合メンバである。 コードとアノテーション:https://github.com/abtraore/SCOUT-ECCV

関連論文リスト

• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
  我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。 各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。 エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
  論文  参考訳（メタデータ） (2026-06-02T16:46:42Z)
• Reason, Retrieve, Re-rank: A Zero-Shot Reasoning-Aware Framework for Composed Video Retrieval [0.0]
  Composed Video Retrieval (CoVR)は、参照ビデオに自由形式のテキスト修正を適用することで得られるターゲットビデオを求める。 textbfR3-CoVR(emphReason、Retrieve、Re-rank)は、凍結基盤モデルから完全に構築されたトレーニング不要のパイプラインである。
  論文  参考訳（メタデータ） (2026-05-30T22:21:42Z)
• Explicit and data-Efficient Encoding via Gradient Flow [13.424502866278822]
  遅延空間にデータを直接エンコードするために勾配流を用いたデコーダのみの手法を提案する。 共役法を用いてデコーダを訓練し、コストのかかる積分を最小限の精度で回避できることを示す。 この研究は、正確で効率的なエンコーディングが不可欠である科学への機械学習の統合の道を開いた。
  論文  参考訳（メタデータ） (2024-12-01T15:54:50Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• Diffsound: Discrete Diffusion Model for Text-to-sound Generation [78.4128796899781]
  本稿では,テキストエンコーダ,ベクトル量子化変分自動符号化(VQ-VAE),デコーダ,ボコーダからなる新しいテキスト音声生成フレームワークを提案する。 フレームワークは、まず、デコーダを使用して、テキストエンコーダから抽出したテキスト特徴をVQ-VAEの助けを借りてメルスペクトルに転送し、次いで、ボコーダを使用して生成されたメルスペクトルを波形に変換する。
  論文  参考訳（メタデータ） (2022-07-20T15:41:47Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。