論文の概要: Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking
- arxiv url: http://arxiv.org/abs/2607.24701v1
- Date: Mon, 27 Jul 2026 17:44:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.524668
- Title: Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking
- Title（参考訳）: モード緩和RGBT追従用時空間調波変圧器
- Authors: Andong Lu, Ziyi Zha, Jiandong Jin, Shihao Li, Chenglong Li, Jin Tang, Bin Luo,
- Abstract要約: 頑健なモダリティを欠くRGBT追跡のための時空間雑音除去変換器 (SCDT) を提案する。
SCDTは空間的手がかりと時間的文脈を統合し、欠落したモダリティの情報再構成を適応的に行う。
我々の手法は一貫して最先端の手法より優れています。
- 参考スコア（独自算出の注目度）: 22.984699044574175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing modalities in RGBT tracking often lead to incomplete and unstable multimodal feature representations that greatly degrade the performance. Existing methods typically attempt to recover missing modalities from available ones, but the quality of data generated in challenging scenarios might be unsatisfactory. In addition, current approaches exhibit limited flexibility in processing both missing and complete data. To overcome these limitations, we propose a Spatio-temporal Conditional Denoising Transformer (SCDT), which integrates the spatial cues and the temporal context to adaptively perform information reconstruction of missing modalities and feature enhancement of weak modalities in a unified framework, for robust modality-missing RGBT tracking. In particular, SCDT leverages the short-term temporal cues from recent historical frames to capture the fine-grained temporal correlations and the long-term temporal cues encoding modality evolution to capture the global context. By jointly exploiting long short-term temporal contexts as the conditions, SCDT progressively guides noisy features of available modalities to learn reliable and temporally consistent multimodal representations. Furthermore, SCDT introduces a noisemodulated adaptation mechanism that dynamically adjusts its behavior according to the modal availability, enabling a single framework to unify feature learning under both modality-missing and complete scenarios without changing the architecture or parameters. Extensive experiments on three public benchmark datasets demonstrate that our method consistently outperforms state-of-the-art methods. The code is available here.
- Abstract（参考訳）: RGBT追跡におけるモダリティの欠如は、しばしば不完全で不安定なマルチモーダル特徴表現をもたらし、性能を著しく低下させる。
既存のメソッドは通常、利用可能なものから欠落したモダリティを回復しようとするが、挑戦的なシナリオで生成されたデータの品質は満足できないかもしれない。
さらに、現在のアプローチでは、欠落したデータと完了したデータの両方を処理する際の柔軟性が制限されている。
これらの制約を克服するために,空間的手がかりと時間的文脈を統合した時空間条件記述変換器(SCDT)を提案する。
特に、SCDTは、最近の歴史的枠組みの短期的時間的手がかりを利用して、微粒な時間的相関を捉え、長期的時間的手がかりをモダリティの進化を符号化し、グローバルな文脈を捉えている。
SCDTは、条件として長期の時間的文脈を共同で活用することにより、利用可能なモダリティのノイズの多い特徴を徐々にガイドし、信頼性と時間的に一貫したマルチモーダル表現を学習する。
さらに、SCDTは、その動作をモジュールの可利用性に応じて動的に調整するノイズ変調適応機構を導入し、アーキテクチャやパラメータを変更することなく、単一のフレームワークで、モダリティの欠如と完全なシナリオの両方で特徴学習を統一することを可能にする。
3つの公開ベンチマークデータセットに対する大規模な実験は、我々の手法が常に最先端の手法より優れていることを示した。
コードはここにある。
関連論文リスト
- SegDiff: Segmented Trajectory Diffusion for Consistent and Adaptive Robot Manipulation [65.81476183180527]
両パラダイムの長所を統合するクローズドループビズモータポリシであるSegDiffを紹介する。
SegDiffはデモをキーセグメンテーション間で動作セグメントに分解し、現在の状態から次のキーセグメンテーションまでの連続的な軌跡を予測することを学習する。
SegDiffは、さまざまなシミュレートされた実世界のシナリオにおいて、既存のアプローチよりも大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2026-07-13T02:48:03Z) - TTCD:Transformer Integrated Temporal Causal Discovery from Non-Stationary Time Series Data [0.18097009159779617]
非定常時系列から同時・ラタグ因果関係を学習するエンドツーエンドアプローチを提案する。
キーとなる革新は因果信号の蒸留であり、変圧器デコーダの再構成プロセスを通じて必須因果信号を蒸留する。
合成、ベンチマーク、実世界のデータセットの実験は、TTCDがドメイン知識の正確性と一貫性の両方において、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-04-27T19:44:38Z) - TimelineReasoner: Advancing Timeline Summarization with Large Reasoning Models [54.737142557469916]
我々は、タイムラインの要約を静的生成からアクティブな推論駆動プロセスに移行するフレームワークであるTimelineReasonerを提案する。
タイムラインの精度,カバレッジ,コヒーレンスの観点から,TimelineReasoner は既存の LLM ベースのTLS 手法よりも優れていることを示す。
この作業はTLSの境界を推し進めるだけでなく、タイムラインの要約のためのLRMベースの推論フレームワークの幅広い可能性を強調している。
論文 参考訳（メタデータ） (2026-04-03T12:30:15Z) - MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。
MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。
このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
論文 参考訳（メタデータ） (2026-02-14T14:00:06Z) - A Representation-Consistent Gated Recurrent Framework for Robust Medical Time-Series Classification [0.0]
隠れ状態表現における時間的一貫性を強制する規則化された正規化戦略を導入するための表現一貫性を持つゲートリカレントフレームワーク(RC-GRF)を提案する。
提案するフレームワークはモデルに依存しないため,内部ゲーティング機構を変更することなく,既存のゲート型リカレントアーキテクチャに統合することができる。
論文 参考訳（メタデータ） (2026-02-10T17:16:49Z) - Contextual and Seasonal LSTMs for Time Series Anomaly Detection [49.50689313712684]
CS-LSTM (Contextual and Seasonal LSTMs) という新しい予測型フレームワークを提案する。
CS-LSTMはノイズ分解戦略に基づいて構築され、コンテキスト依存と季節パターンを併用する。
彼らは一貫して最先端の手法を上回り、堅牢な時系列異常検出における有効性と実用的価値を強調した。
論文 参考訳（メタデータ） (2026-02-10T11:46:15Z) - UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。
コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。
8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-12-08T05:36:14Z) - Real-Time Inference for Distributed Multimodal Systems under Communication Delay Uncertainty [37.15356899831919]
接続されたサイバー物理システムは、複数のデータストリームからのリアルタイム入力に基づいて推論を行う。
本稿では,適応時間窓を用いたニューラルインスパイアされたノンブロッキング推論パラダイムを提案する。
我々のフレームワークは、精度-遅延トレードオフをきめ細かな制御で堅牢なリアルタイム推論を実現する。
論文 参考訳（メタデータ） (2025-11-20T10:48:54Z) - Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。
UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。
本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-27T08:53:27Z) - Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks [21.139161163767884]
モーダル情報は、熱センサーの自己校正やデータ伝送誤差などの要因によって見逃される可能性がある。
本稿では、コンテンツ保存プロンプトをよく訓練された追跡モデルに統合する、新しい非可逆的プロンプト学習手法を提案する。
提案手法は,最先端手法と比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-12-25T11:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。