論文の概要: Stable and Causal Inference for Discriminative Self-supervised Deep Visual Representations

• arxiv url: http://arxiv.org/abs/2308.08321v1
• Date: Wed, 16 Aug 2023 12:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 13:34:19.291406
• Title: Stable and Causal Inference for Discriminative Self-supervised Deep Visual Representations
• Title（参考訳）: 識別的自己教師付き深部視覚表現の安定および因果推論
• Authors: Yuewei Yang, Hai Li, Yiran Chen
• Abstract要約: 我々は、不安定な行動を説明するために、因果的観点から差別的自己監督手法を分析する。 我々のソリューションは、制御された合成データで線形変換を温めることを含む。
• 参考スコア（独自算出の注目度）: 10.41003719027387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, discriminative self-supervised methods have made significant strides in advancing various visual tasks. The central idea of learning a data encoder that is robust to data distortions/augmentations is straightforward yet highly effective. Although many studies have demonstrated the empirical success of various learning methods, the resulting learned representations can exhibit instability and hinder downstream performance. In this study, we analyze discriminative self-supervised methods from a causal perspective to explain these unstable behaviors and propose solutions to overcome them. Our approach draws inspiration from prior works that empirically demonstrate the ability of discriminative self-supervised methods to demix ground truth causal sources to some extent. Unlike previous work on causality-empowered representation learning, we do not apply our solutions during the training process but rather during the inference process to improve time efficiency. Through experiments on both controlled image datasets and realistic image datasets, we show that our proposed solutions, which involve tempering a linear transformation with controlled synthetic data, are effective in addressing these issues.
• Abstract（参考訳）: 近年,識別的自己管理手法は様々な視覚的タスクの進行に大きく貢献している。 データ歪み/オーグメンテーションに頑健なデータエンコーダを学ぶという中心的な考え方は、単純かつ極めて効果的である。 多くの研究が様々な学習手法の実証的な成功を実証しているが、その結果得られた表現は不安定性を示し、下流のパフォーマンスを阻害する可能性がある。 本研究では,これらの不安定な行動を説明するために,因果的視点から識別的自己教師付き手法を分析し,その克服法を提案する。 我々のアプローチは、基礎的真理因果源をある程度分解する識別的自己教師あり手法の能力を実証的に示す先行研究から着想を得ている。 因果性を利用した表現学習に関する従来の研究とは異なり、トレーニングプロセス中にソリューションを適用するのではなく、推論プロセス中に時間効率を改善する。 制御された画像データセットと現実的な画像データセットの両方の実験を通して、制御された合成データで線形変換を誘引する提案手法がこれらの問題に対処するのに有効であることを示す。

関連論文リスト

• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Automated Deception Detection from Videos: Using End-to-End Learning Based High-Level Features and Classification Approaches [0.0]
  深層学習と識別モデルを組み合わせたマルチモーダル手法を提案する。 我々は畳み込み学習を用いて、視線、頭ポーズ、表情を解析する。 提案手法は, 経済要因による新しいローリングディース実験を含む5つのデータセットで評価される。
  論文  参考訳（メタデータ） (2023-07-13T08:45:15Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Sample-efficient Adversarial Imitation Learning [45.400080101596956]
  状態と行動表現を学習するための自己教師付き表現に基づく対向的模倣学習法を提案する。 本研究は,M MuJoCo上での既存対向模倣学習法に対して,100対の専門的状態-作用ペアに制限された設定で相対的に39%改善したことを示す。
  論文  参考訳（メタデータ） (2023-03-14T12:36:01Z)
• Causal Deep Reinforcement Learning Using Observational Data [11.790171301328158]
  深部強化学習(DRL)における2つの解答法を提案する。 提案手法はまず, 因果推論法に基づいて異なる試料の重要度を算出し, 損失関数に対する異なる試料の影響を調整する。 本手法の有効性を実証し,実験的に検証する。
  論文  参考訳（メタデータ） (2022-11-28T14:34:39Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。