論文の概要: Mitigating and Evaluating Static Bias of Action Representations in the Background and the Foreground

• arxiv url: http://arxiv.org/abs/2211.12883v3
• Date: Wed, 27 Sep 2023 09:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 22:24:35.886875
• Title: Mitigating and Evaluating Static Bias of Action Representations in the Background and the Foreground
• Title（参考訳）: 背景と前景における行動表現の静的バイアスの軽減と評価
• Authors: Haoxin Li, Yuan Liu, Hanwang Zhang, Boyang Li
• Abstract要約: 静的特徴のショートカットは、運動特徴の学習を妨げる可能性があるため、分布外一般化が不十分になる。 本稿では,ビデオの静的および移動部分からの信号に矛盾するテストビデオを作成することにより,前景の静的バイアスの存在を実証的に検証する。 StillMixは、2D参照ネットワークを使ってバイアスを誘発するビデオフレームを特定し、トレーニング用のビデオと混ぜることで、効果的なバイアス抑制を提供する。
• 参考スコア（独自算出の注目度）: 59.916365866505636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In video action recognition, shortcut static features can interfere with the learning of motion features, resulting in poor out-of-distribution (OOD) generalization. The video background is clearly a source of static bias, but the video foreground, such as the clothing of the actor, can also provide static bias. In this paper, we empirically verify the existence of foreground static bias by creating test videos with conflicting signals from the static and moving portions of the video. To tackle this issue, we propose a simple yet effective technique, StillMix, to learn robust action representations. Specifically, StillMix identifies bias-inducing video frames using a 2D reference network and mixes them with videos for training, serving as effective bias suppression even when we cannot explicitly extract the source of bias within each video frame or enumerate types of bias. Finally, to precisely evaluate static bias, we synthesize two new benchmarks, SCUBA for static cues in the background, and SCUFO for static cues in the foreground. With extensive experiments, we demonstrate that StillMix mitigates both types of static bias and improves video representations for downstream applications. Code is available at https://github.com/lihaoxin05/StillMix.
• Abstract（参考訳）: ビデオアクション認識では、ショートカット静的機能は動作特徴の学習を妨げる可能性があるため、od(out-of-distribution)一般化が不十分である。 ビデオ背景は明らかに静的バイアスの源であるが、アクターの衣服のようなビデオフォアグラウンドは静的バイアスを与えることもできる。 本稿では,ビデオの静的部分と移動部分の信号が矛盾するテストビデオを作成することにより,前景の静的バイアスの存在を実証的に検証する。 この問題に取り組むために,ロバストな行動表現を学ぶための,単純かつ効果的な手法である stillmix を提案する。 具体的には、s stillmixは2d参照ネットワークを使ってバイアスを誘発するビデオフレームを識別し、トレーニング用のビデオと混合し、各ビデオフレーム内のバイアス源を明示的に抽出したり、バイアスの種類を列挙することができない場合でも、効果的なバイアス抑制を行う。 最後に,静的バイアスを正確に評価するために,背景の静的キューにSCUBA,前景の静的キューにSCUFOという2つの新しいベンチマークを合成する。 広範な実験により、s stillmixは両方の静的バイアスを軽減し、下流アプリケーションのビデオ表現を改善することを実証した。 コードはhttps://github.com/lihaoxin05/stillmixで入手できる。

関連論文リスト

• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
  TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。 偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
  論文  参考訳（メタデータ） (2024-01-15T09:59:43Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• SOAR: Scene-debiasing Open-set Action Recognition [81.8198917049666]
  本稿では、対向的なシーン再構成モジュールと適応的な対向的なシーン分類モジュールを備えた、Scene-debiasing Open-set Action Recognition (SOAR)を提案する。 前者は、デコーダが映像特徴の映像背景を再構成することを防止し、特徴学習における背景情報を低減する。 後者は、アクションフォアグラウンドに特に重点を置いて、映像の特徴を与えられたシーンタイプの分類を混乱させることを目的としており、シーン不変情報を学習するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-03T20:20:48Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Quantifying and Learning Static vs. Dynamic Information in Deep Spatiotemporal Networks [29.47784194895489]
  アクション認識,自動ビデオオブジェクト分割(AVOS),ビデオインスタンス分割(VIS)について検討した。 ほとんどの検査されたモデルは静的情報に偏っている。 ダイナミックスに偏りがあると仮定されるいくつかのデータセットは、実際には静的情報に偏りがある。
  論文  参考訳（メタデータ） (2022-11-03T13:17:53Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• Suppressing Static Visual Cues via Normalizing Flows for Self-Supervised Video Representation Learning [7.27708818665289]
  本稿では,自己教師付きビデオ表現学習における確率的解析に基づく静的視覚的手がかり(SSVC)の抑制手法を提案する。 ビデオ中の静的因子をランダム変数としてモデル化することにより、各潜伏変数の条件分布がシフトし、正規化される。 最後に、ポジティブペアは、静的なキューに対する表現バイアスの問題を軽減するために、対照的な学習のためのモーション保存ビデオによって構成される。
  論文  参考訳（メタデータ） (2021-12-07T16:21:22Z)
• Motion-aware Self-supervised Video Representation Learning via Foreground-background Merging [19.311818681787845]
  我々は、選択したビデオの前景領域を背景に構成するフォアグラウンド・バックグラウンド・マージング(FAME)を提案する。 FAMEは、様々なバックボーンを用いて、異なる下流タスクのパフォーマンスを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T13:45:26Z)
• VideoMix: Rethinking Data Augmentation for Video Classification [29.923635550986997]
  最新のビデオアクション分類器は、しばしばオーバーフィットに苦しむ。 オーバーフィッティング問題に対処するための最近のデータ拡張戦略が報告されている。 VideoMixは、モデルがオブジェクトやシーンのバイアスを越えて学習し、アクション認識のためのより堅牢な手がかりを抽出する。
  論文  参考訳（メタデータ） (2020-12-07T05:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。