論文の概要: Temporal Self-Distillation: Learning Visual State Tracking in Videos Without Supervision

• arxiv url: http://arxiv.org/abs/2609.04203v1
• Date: Thu, 03 Sep 2026 17:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.205271
• Title: Temporal Self-Distillation: Learning Visual State Tracking in Videos Without Supervision
• Title（参考訳）: 時間的自己蒸留:監督なしのビデオにおける視覚状態追跡の学習
• Abstract要約: S$3$T (Self-Supervised Self-Distillation over Time) は、継続的ビデオ状態追跡のための最初の完全自己完結型フレームワークである。 LLaVA-OneVision-2-8Bでは、S$3$TはVSTATの精度を1モデル$+1.74$、スープ付き$+2.38$、追加のビジョンエンコーダ対応$+2.70$で改善している。 VSTAT-YouTubeのステートトラッキング質問では、ラベルなしの合成クリップが実際のビデオに転送され、パフォーマンスが7.95ドル向上し、さらに4.50ドル向上した。
• 参考スコア（独自算出の注目度）: 22.058460912910125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce S$^3$T (Self-Supervised Self-Distillation over Time), which, to the best of our knowledge, is the first fully self-contained framework for continuous video state tracking. Our method treats temporal sampling density as privileged information, based on the hypothesis that a denser view of the same clip recovers the running state more accurately. This view serves as the teacher, while a sparse-view student with the same weights learns to match its next-token distribution. The model generates its own target, so training requires no labels, separate teacher, or reward signal, and adds no inference cost. On LLaVA-OneVision-2-8B, S$^3$T improves VSTAT accuracy by $+1.74$ as a single model, $+2.38$ with souping, and $+2.70$ with additional vision-encoder adaptation, while prior self-evolving methods leave state tracking largely unchanged. The capability learned from unlabeled synthetic clips transfers to real videos, improving performance by $+7.95$ on VSTAT-YouTube state-tracking questions and $+4.50$ on MVBench Action Count.
• Abstract（参考訳）: S$3$T(Self-Supervised Self-Distillation over Time)を紹介します。 提案手法は,同じクリップのより高密度なビューがより正確に動作状態を回復させるという仮説に基づいて,時間的サンプリング密度を特権情報として扱う。 この視点は教師として機能し、同じ重みを持つスパースビューの学生は次の話題に合うように学習する。 モデルは独自のターゲットを生成するため、トレーニングにはラベル、教師の分離、報酬の信号が不要であり、推論コストは加算されない。 LLaVA-OneVision-2-8Bでは、S$^3$TはVSTATの精度を1モデルとして$+1.74$、スープ付き$+2.38$、追加のビジョンエンコーダ適応付き$+2.70$で改善し、以前の自己進化方式では状態追跡がほとんど変わらない。 VSTAT-YouTubeのステートトラッキング問題では7.95ドル、MVBench Action Countでは4.50ドルのパフォーマンス向上が達成された。

関連論文リスト

• StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding [16.629848186775718]
  検証可能な報酬を伴う強化学習は、この体制に不適合であり、長い思考と答えの世代を奨励する。 オンライン蒸留は、学生の軌跡に密集したトークンレベルの教師の監督を提供するが、どちらのモデルも思考モードで訓練した場合のみ安定している。 オープンソースストリーミングビデオ研究のための透過的で再現可能なリファレンスを提供する。
  論文  参考訳（メタデータ） (2026-08-17T09:25:36Z)
• Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning [30.851590309402436]
  統一マルチモーダルモデル (UMM) は、空間的タスクを改善するためにテキスト推論で'視覚的思考' (VT) を生成する。 これは、多段階拡散から大まかにマグニチュード推論コストを発生させる。 本稿では、この問題を解決するために、ビジュアルオンポリシィ自己蒸留(Visual-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:59:15Z)
• MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
  推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。 MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。 OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
  論文  参考訳（メタデータ） (2026-04-10T19:30:29Z)
• Learning from Streaming Video with Orthogonal Gradients [62.51504086522027]
  本稿では,映像の連続的ストリームからの表現学習を自己指導的に行うという課題に対処する。 これは、トレーニング中にビデオが切り刻まれ、シャッフルされ、非冗長なバッチを生成する、ビデオ学習の標準的なアプローチとは異なる。 3つのタスクでシャッフルからシーケンシャルな学習に移行する際のパフォーマンスの低下を実演する。
  論文  参考訳（メタデータ） (2025-04-02T17:59:57Z)
• CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos [63.90674869153876]
  我々はCoTracker3を導入し、新しい追跡モデルと半教師付きトレーニングレシピを新たに導入する。 これにより、トレーニング中にアノテーションを使わずに実際のビデオが使えるようになり、既成の教師を使って擬似ラベルを生成することができる。 モデルはオンライン版とオフライン版で利用可能で、視界や無視された点を確実に追跡できる。
  論文  参考訳（メタデータ） (2024-10-15T17:56:32Z)
• Refining Pre-Trained Motion Models [56.18044168821188]
  我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。 実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。 本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-01T18:59:33Z)
• Look for the Change: Learning Object States and State-Modifying Actions from Untrimmed Web Videos [55.60442251060871]
  人間の行動は、しばしば「リンゴを切る」や「コーヒーを飲む」といった対象状態の変化を引き起こす。 我々は、対応する対象状態とともに、状態修正動作を協調学習するための自己教師型モデルを開発する。 本モデルでは,ノイズ適応重み付けモジュールを少数の注釈付静止画像で教師する。
  論文  参考訳（メタデータ） (2022-03-22T11:45:10Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。