論文の概要: Generative Uncertainty as a Self-supervised Signal for Semantic Similarity Learning

• arxiv url: http://arxiv.org/abs/2609.35341v1
• Date: Mon, 28 Sep 2026 14:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:18:53.776093
• Title: Generative Uncertainty as a Self-supervised Signal for Semantic Similarity Learning
• Title（参考訳）: 意味的類似性学習のための自己教師付き信号としての生成不確かさ
• Abstract要約: 人間のアノテーションなしで意味的類似性を学ぶために、テキスト・トゥ・ビデオ(T2V)モデルから生成する不確実性。 提案手法は,T2Vモデルが慣れ親しんだ概念に対して一貫した出力を生成するが,特殊概念によって誘導される場合,高いばらつきや不確実性を示すことに基づく。 本稿では,ビデオMAE や V-JEPA などの既存の事前訓練された表現において,安定した意味的特徴を識別するために,この振る舞いを利用する。
• 参考スコア（独自算出の注目度）: 29.62631500768148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating semantic similarity between videos is a fundamental challenge in computer vision, essential for tasks ranging from out-of-distribution (OOD) detection to video retrieval. However, defining and labeling video similarity is notoriously difficult and expensive due to the complex spatio-temporal nature. In this paper, we propose a novel self-supervised approach that leverages generative uncertainty from text-to-video (T2V) diffusion models to learn semantic similarity without human annotations. Our method is based on the observation that T2V models produce consistent outputs for familiar concepts but exhibit high variance and uncertainty when prompted with specialized concepts. We utilize this behavior to identify stable semantic features within existing pretrained representations, such as VideoMAE and V-JEPA. Specifically, we learn a mask over these embeddings using purely generated data, encouraging the model to retain features that remain consistent across generations of general concepts while discarding those associated with generative noise or uncertainty. Experimental results across three key tasks demonstrate that our learned feature subspaces consistently outperform original pretrained features and baseline feature selection methods.
• Abstract（参考訳）: ビデオ間の意味的類似性を評価することは、コンピュータビジョンにおける基本的な課題であり、オフ・オブ・ディストリビューション(OOD)検出からビデオ検索まで、タスクに不可欠である。 しかし、ビデオの類似性の定義とラベル付けは、複雑な時空間の性質のために困難で費用がかかることで有名である。 本稿では,テキスト・ビデオ拡散モデル(T2V)から生成的不確実性を利用して,人間のアノテーションを使わずに意味的類似性を学習する手法を提案する。 提案手法は,T2Vモデルが慣れ親しんだ概念に対して一貫した出力を生成するが,特殊概念によって誘導される場合,高いばらつきや不確実性を示すことに基づく。 我々は,ビデオMAEやV-JEPAといった既存の事前訓練された表現において,安定した意味的特徴を識別するために,この行動を利用する。 具体的には、純粋に生成されたデータを用いて、これらの埋め込みのマスクを学習し、生成ノイズや不確実性に関連するものを破棄しながら、世代毎に一貫性のある特徴を維持するようモデルに促す。 3つの重要なタスクにまたがる実験結果から、学習した特徴部分空間は、元の事前訓練された特徴とベースラインの特徴選択方法よりも一貫して優れていたことが示される。

関連論文リスト

• Test-time Reinforcement Learning for Anomalous Video Understanding [12.200293794553005]
  異常ビデオ理解は、ビデオ中の異常事象を特定し、その意味を単純な異常検出を越えて解釈することを目的としている。 最近のビデオ大言語モデル(ビデオ-LLM)は、このタスクに期待できるゼロショット機能を実証している。 本稿では,異常映像理解のための新しいテスト時間強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-18T13:49:45Z)
• BachVid: Training-Free Video Generation with Consistent Background and Character [62.46376250180513]
  Diffusion Transformer (DiTs) は、最近、テキスト・トゥ・ビデオ(T2V)生成に大きな進歩をもたらした。 既存のメソッドは通常、参照イメージや広範なトレーニングに依存しており、しばしば文字の一貫性にのみ対処する。 我々は、参照画像を必要としない一貫したビデオ生成を実現する、最初のトレーニング不要な方法であるBachVidを紹介する。
  論文  参考訳（メタデータ） (2025-10-24T17:56:37Z)
• Concept-SAE: Active Causal Probing of Visual Model Behavior [10.346577706023139]
  Concept-SAEは、概念トークンを意味的に基礎づけるフレームワークである。 まず、我々の二重スーパービジョンアプローチが、著しく忠実で空間的に局在したトークンを生み出すことを定量的に示す。 この検証された忠実さは,(1)内部概念と直接介入による予測の因果関係を探索し,(2)特定の層に敵対的脆弱性を体系的に局在させることにより,モデルの障害モードを探索する,という2つの重要な応用を可能にする。
  論文  参考訳（メタデータ） (2025-09-26T07:51:03Z)
• DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning [58.70446237944036]
  DAVID-Xは、AI生成ビデオに詳細な欠陥レベル、時間空間アノテーションと有理書を組み合わせた最初のデータセットである。 DAVID-XR1は、視覚的推論の解釈可能な連鎖を提供するために設計されたビデオ言語モデルである。 以上の結果から,AI生成ビデオコンテンツの信頼性確認のための説明可能な検出手法が期待できることを示す。
  論文  参考訳（メタデータ） (2025-06-13T13:39:53Z)
• Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
  ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。 近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。 本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T03:07:16Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。