論文の概要: W2Rep: Learning Visual Representations by Watching the World Change
- arxiv url: http://arxiv.org/abs/2609.35464v1
- Date: Mon, 28 Sep 2026 15:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:12:52.562501
- Title: W2Rep: Learning Visual Representations by Watching the World Change
- Title（参考訳）: W2Rep: 世界の変化を見て視覚表現を学ぶ
- Abstract要約: 画像自己監督は1つの瞬間から空間構造を学習し、ビデオ手法は複数のフレームから計算された表現の内部の時間的関係を一般的に学習する。
シーンの変更を見ることは、ビデオの表現能力を犠牲にすることなく、ある画像から利用できる機能を改善できるかどうかを問う。
W2Repは、独立に符号化されたソースイメージが同時に他の瞬間に予測に参加するマスク付き特徴予測フレームワークである。
- 参考スコア（独自算出の注目度）: 56.997925526858296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Images capture the world at one moment, whereas video reveals how it changes. Image self-supervision learns spatial structure from a single moment, while video methods commonly learn temporal relationships inside a representation computed jointly from several frames. We ask whether watching a scene change can instead improve features available from one image without sacrificing the ability to represent video. We introduce W2Rep, a masked feature-prediction framework in which an independently encoded source image participates in prediction at the same or another moment. The predictor is conditioned on visible video context, the queried location, and the signed time interval between source and target. This gives the cross-frame objective two complementary roles: the image path learns features that remain useful across time, while the video path must gather evidence that is missing from the source image. Across model scales and downstream tasks, W2Rep improves frozen and fine-tuned recognition under our comparison protocol, while joint video encoding provides further gains over frame-wise aggregation. Controlled experiments show that these gains depend on directly updating the source-image features and on using both video context and temporal displacement. Overall, change across a video can supervise a visual encoder whose representations remain useful at either image or video granularity. Code is available at~\href{https://wenooi.github.io/W2Rep}{https://wenooi.github.io/W2Rep}.
- Abstract（参考訳）: 画像は一瞬で世界を取り込むが、ビデオはそれがどう変化するかを明らかにする。
画像自己監督は1つの瞬間から空間構造を学習し、ビデオ手法は複数のフレームから計算された表現の内部の時間的関係を一般的に学習する。
シーンの変更を見ることは、ビデオの表現能力を犠牲にすることなく、ある画像から利用できる機能を改善できるかどうかを問う。
W2Repは、独立に符号化されたソースイメージが同時に他の瞬間に予測に参加するマスク付き特徴予測フレームワークである。
予測器は、可視ビデオコンテキスト、クエリされた場所、およびソースとターゲットの間の署名された時間間隔に基づいて条件付けされる。
イメージパスは、時間とともに有用である機能を学び、ビデオパスは、ソースイメージから欠落している証拠を収集する必要がある。
W2Repは,モデルスケールおよびダウンストリームタスク全体にわたって,比較プロトコル下での凍結および微調整の認識を改善する一方,ジョイントビデオ符号化はフレームワイドアグリゲーションよりもさらに向上する。
制御された実験により、これらの利得は、ソースイメージの特徴を直接更新することと、ビデオコンテキストと時間的変位の両方を使用することに依存していることが示された。
全体として、ビデオ全体の変更は、画像またはビデオの粒度において、表現が有用であるビジュアルエンコーダを監督することができる。
コードは~\href{https://wenooi.github.io/W2Rep}{https://wenooi.github.io/W2Rep}で入手できる。
関連論文リスト
- Dynamic Reflections: Probing Video Representations with Text Alignment [36.66874523368293]
クロスモーダルアライメントは、テスト時に提供されるビジュアル(静的画像対マルチフレームビデオ)とテキスト(単一キャプション対コレクション)の両方の豊かさに依存します。
本研究では、この挙動を捉え、経験的観測に対して顕著な予測力を示すパラメトリックテストタイムスケーリング法を提案する。
論文 参考訳（メタデータ） (2025-11-04T17:52:14Z) - Self-Chained Image-Language Model for Video Localization and Question
Answering [66.86740990630433]
ビデオ上での時間的ローカライゼーションとQAに対処するために,SeViLA(Se-Chained Video-Answering)フレームワークを提案する。
SeViLAフレームワークはLocalizerとAnswererの2つのモジュールで構成されている。
論文 参考訳（メタデータ） (2023-05-11T17:23:00Z) - TimeBalance: Temporally-Invariant and Temporally-Distinctive Video
Representations for Semi-Supervised Action Recognition [68.53072549422775]
学生教師による半教師付き学習フレームワークTimeBalanceを提案する。
時間的に不変であり,時間的に異なる教師から知識を抽出する。
提案手法は,3つの動作認識ベンチマーク上での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-03-28T19:28:54Z) - Self-supervised and Weakly Supervised Contrastive Learning for
Frame-wise Action Representations [26.09611987412578]
本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。
具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。
提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-12-06T16:42:22Z) - VRT: A Video Restoration Transformer [126.79589717404863]
ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。
並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
論文 参考訳（メタデータ） (2022-01-28T17:54:43Z) - Contrastive Learning of Image Representations with Cross-Video
Cycle-Consistency [13.19476138523546]
ビデオ間関係は視覚表現学習ではほとんど研究されていない。
本稿では,一般画像表現学習のサイクル一貫性を利用して,映像間関係を探索する新しいコントラスト学習手法を提案する。
最先端のコントラスト学習方法よりも大幅に改善されています。
論文 参考訳（メタデータ） (2021-05-13T17:59:11Z) - RSPNet: Relative Speed Perception for Unsupervised Video Representation
Learning [100.76672109782815]
本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。
動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。
再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-27T16:42:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。