論文の概要: Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition
- arxiv url: http://arxiv.org/abs/2606.24404v1
- Date: Tue, 23 Jun 2026 10:39:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.902501
- Title: Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition
- Title（参考訳）: マルチモーダル動作認識のためのモダリティを考慮したアウト・オブ・ディストリビューション検出
- Abstract要約: 我々は、行動認識モデルに追加のモダリティを組み込む方法について研究する。
本研究は、マルチモーダル・アウト・オブ・ディストリビューション(OOD)検出の事例に焦点を当てる。
マルチモーダルシナリオ用に明示的に設計されたポストホック検出器を構築した。
- 参考スコア（独自算出の注目度）: 23.03076857904803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The incorporation of additional modalities into action recognition models increases their performance across a wide range of settings. However, how this additional information can contribute to making the models more robust remains underexplored, particularly for the case of multi-modal out-of-distribution (OOD) detection. While methods exist that regularize the multi-modal training process with OOD detection in mind, they still apply off-the-shelf OOD detectors designed for the uni-modal case during inference, discarding important information. Based on an interesting relationship we find between the multi-modal and uni-modal predictions, we propose to use this signal to build a post-hoc detector explicitly designed for the multi-modal scenario. We combine this new source of information with a feature-space score, which detects off-manifold samples in the multi-modal space, and normalize them by the multi-modal logits. In doing so, the proposed hybrid detector is compatible with existing training-time approaches and consistently improves performance. Experiments on a wide range of established datasets from the MultiOOD benchmark show that, on average, our approach outperforms the state of the art. Our results show the importance of explicitly considering the different modalities at inference time for multi-modal OOD detection.
- Abstract（参考訳）: アクション認識モデルに追加のモダリティが組み込まれれば、幅広い設定でパフォーマンスが向上する。
しかし、この追加情報がモデルをより堅牢にするためにどのように貢献するかは、特にOOD(multi-modal out-of-distribution)検出の場合、未調査のままである。
OOD検出を念頭に置いてマルチモーダルトレーニングプロセスを標準化する手法は存在するが、単モーダルケース用に設計されたオフ・ザ・シェルフのOOD検出器を推論中に適用し、重要な情報を捨てる。
マルチモーダル予測とユニモーダル予測の興味深い関係に基づいて,この信号を用いて,マルチモーダルシナリオ用に明示的に設計されたポストホック検出器を構築することを提案する。
この新たな情報源と特徴空間スコアを組み合わせることで,マルチモーダル空間のオフマンフォールドサンプルを検出し,マルチモーダルロジットによって正規化する。
提案したハイブリッド検出器は、既存の訓練時間アプローチと互換性があり、一貫して性能を向上する。
MultiOODベンチマークから得られた幅広い確立されたデータセットの実験により、我々のアプローチは平均して最先端の手法よりも優れていることが示された。
以上の結果から,マルチモーダルOOD検出における推定時間における異なるモダリティを明示的に考慮することの重要性が示唆された。
関連論文リスト
- MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering [73.47440561592556]
トレーニング不要な属性生成手法であるMultAttnAttribを紹介する。
MultAttnAttribは、様々な属性生成方法よりも一貫して優れていることを示す。
提案手法は直接推論遅延の最大7分の1の属性を生成する。
論文 参考訳（メタデータ） (2026-07-01T19:29:19Z) - POINTS-Seeker: Towards Training a Multimodal Agentic Search Model from Scratch [84.73366911912512]
エージェント・シーディング(Agenic Seeding)は,エージェント行動の抽出に必要な前駆体を織り込むための専用フェーズである。
本稿では、最近の対話を高忠実に保ちながら、歴史的コンテキストをレンダリングを介して視覚空間に折り畳みながら、適応的履歴認識圧縮方式であるV-Foldを提案する。
我々は,最新のマルチモーダルエージェントサーチモデルであるPOINTS-Seeker-8Bを開発した。
論文 参考訳（メタデータ） (2026-04-15T16:09:37Z) - Active Multimodal Distillation for Few-shot Action Recognition [19.872938560809988]
本稿では,タスク固有のコンテキストキューを用いて,各サンプルに対する信頼度を積極的に識別する新しいフレームワークを提案する。
我々のフレームワークはアクティブサンプル推論(ASI)モジュールを統合し、アクティブ推論を利用して信頼性の高いモダリティを予測する。
強化学習とは異なり、アクティブ推論は報酬をエビデンスに基づく選好に置き換え、より安定した予測を行う。
論文 参考訳（メタデータ） (2025-06-16T10:10:56Z) - Extremely Simple Multimodal Outlier Synthesis for Out-of-Distribution Detection and Segmentation [7.827311520283545]
アウト・オブ・ディストリビューション(OOD)の検出とセグメンテーションは、自律運転やロボット支援手術のような安全クリティカルなアプリケーションに機械学習モデルをデプロイするために重要である。
本稿では,理論的支援を伴うマルチモーダル・アウトリア合成の極めて単純かつ高速な手法であるFeature Mixingを提案する。
我々は,OODセグメンテーションのための新しいマルチモーダルデータセットであるCARLA-OODを紹介した。
論文 参考訳（メタデータ） (2025-05-22T17:54:30Z) - MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。
MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。
時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
論文 参考訳（メタデータ） (2025-02-03T08:50:00Z) - DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection [10.834698906236405]
機械学習モデルの堅牢性を保証するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
マルチモーダルモデルの最近の進歩は、検出性能を高めるために複数のモダリティを活用する可能性を示している。
マルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
論文 参考訳（メタデータ） (2024-11-12T22:43:16Z) - MultiOOD: Scaling Out-of-Distribution Detection for Multiple Modalities [11.884004583641325]
我々は,多種多様なデータセットサイズと様々なモダリティの組み合わせを特徴とする,第一種ベンチマークであるMultiOODを紹介する。
我々はまず,既存のOOD検出アルゴリズムをMultiOOD上で評価した。
本稿では,近隣クラスからの情報を活用することで,より広い特徴空間を探索する新しいアウトリー合成手法NP-Mixを提案する。
論文 参考訳（メタデータ） (2024-05-27T17:59:02Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。
本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
論文 参考訳（メタデータ） (2023-06-07T15:44:53Z) - Quantifying & Modeling Multimodal Interactions: An Information
Decomposition Framework [89.8609061423685]
本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。
PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。
本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
論文 参考訳（メタデータ） (2023-02-23T18:59:05Z) - SHAPE: An Unified Approach to Evaluate the Contribution and Cooperation
of Individual Modalities [7.9602600629569285]
我々は,bf SHapley vbf Alue-based bf PErceptual (SHAPE) スコアを用いて,個々のモダリティの限界寄与度とモダリティ間の協調度を測定する。
我々の実験は、異なるモジュラリティが相補的なタスクに対して、マルチモーダルモデルは依然として支配的なモダリティのみを使用する傾向があることを示唆している。
我々のスコアは、現在のマルチモーダルモデルが様々なモダリティでどのように動作するかを理解するのに役立ち、複数のモダリティを統合するためのより洗練された方法を促進することを願っている。
論文 参考訳（メタデータ） (2022-04-30T16:35:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。