論文の概要: Mitigating the Effect of Incidental Correlations on Part-based Learning

• arxiv url: http://arxiv.org/abs/2310.00377v1
• Date: Sat, 30 Sep 2023 13:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 04:39:16.474547
• Title: Mitigating the Effect of Incidental Correlations on Part-based Learning
• Title（参考訳）: インシデント相関がパートベース学習に及ぼす影響について
• Authors: Gaurav Bhatt, Deepayan Das, Leonid Sigal, Vineeth N Balasubramanian
• Abstract要約: 部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。 パートベース表現のための2つの革新的な正規化手法を提案する。 我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 50.682498099720114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intelligent systems possess a crucial characteristic of breaking complicated problems into smaller reusable components or parts and adjusting to new tasks using these part representations. However, current part-learners encounter difficulties in dealing with incidental correlations resulting from the limited observations of objects that may appear only in specific arrangements or with specific backgrounds. These incidental correlations may have a detrimental impact on the generalization and interpretability of learned part representations. This study asserts that part-based representations could be more interpretable and generalize better with limited data, employing two innovative regularization methods. The first regularization separates foreground and background information's generative process via a unique mixture-of-parts formulation. Structural constraints are imposed on the parts using a weakly-supervised loss, guaranteeing that the mixture-of-parts for foreground and background entails soft, object-agnostic masks. The second regularization assumes the form of a distillation loss, ensuring the invariance of the learned parts to the incidental background correlations. Furthermore, we incorporate sparse and orthogonal constraints to facilitate learning high-quality part representations. By reducing the impact of incidental background correlations on the learned parts, we exhibit state-of-the-art (SoTA) performance on few-shot learning tasks on benchmark datasets, including MiniImagenet, TieredImageNet, and FC100. We also demonstrate that the part-based representations acquired through our approach generalize better than existing techniques, even under domain shifts of the background and common data corruption on the ImageNet-9 dataset. The implementation is available on GitHub: https://github.com/GauravBh1010tt/DPViT.git
• Abstract（参考訳）: インテリジェントシステムには、複雑な問題を小さな再利用可能なコンポーネントや部品に分割し、これらの部分表現を使って新しいタスクに調整する重要な特徴がある。 しかし、現在のパートリーナーは、特定の配置または特定の背景でのみ現れる物体の限られた観察から生じる偶発的相関を扱うのに困難に直面する。 これらの付随的相関は、学習された部分表現の一般化と解釈可能性に有害な影響を与える可能性がある。 本研究は, 2つの革新的正規化手法を用いて, 部分的表現をより解釈可能で, 限られたデータでより一般化できることを示す。 第1の正規化は、前景と背景情報の生成過程を、一意の混合による定式化によって分離する。 前景と背景の混合部が軟質で物体に依存しないマスクを伴っていることを保証し、弱制御された損失を用いて部品に構造的制約を課す。 第2の正則化は蒸留損失の形を仮定し、学習された部分の非分散を付随的な背景相関に保証する。 さらに,高品質な部分表現の学習を容易にするために,スパース制約と直交制約を取り入れた。 学習部位に付随する背景相関の影響を低減し,MiniImagenet,TieredImageNet,FC100などのベンチマークデータセット上の数ショット学習タスクに対して,最先端(SoTA)性能を示す。 我々はまた、ImageNet-9データセットの背景のドメインシフトや一般的なデータ破損であっても、アプローチによって得られた部分ベースの表現が既存の技術よりも一般化できることを実証した。 実装はGitHubで入手できる。 https://github.com/GauravBh1010tt/DPViT.git

関連論文リスト

• Unsupervised Part Discovery via Dual Representation Alignment [31.100169532078095]
  オブジェクト部分は、様々な下流タスクにおいて重要な中間表現として機能します。 これまでの研究によると、Vision Transformerはラベルなしでインスタンスレベルの注意を学習できる。 本稿では,新しいパラダイムを用いた非教師なし部分特異的アテンション学習を実現する。
  論文  参考訳（メタデータ） (2024-08-15T12:11:20Z)
• Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning [52.506434446439776]
  合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。 このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。 提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
  論文  参考訳（メタデータ） (2023-08-08T03:24:21Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• On Feature Learning in the Presence of Spurious Correlations [45.86963293019703]
  得られた特徴表現の質は,提案手法以外の設計決定に大きく影響されていることを示す。 我々は,人気のウォーターバード,セレブの髪の色予測,WILDS-FMOW問題に関する文献で報告された最良の結果を大幅に改善した。
  論文  参考訳（メタデータ） (2022-10-20T16:10:28Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Dynamic Feature Regularized Loss for Weakly Supervised Semantic Segmentation [37.43674181562307]
  動的に更新される浅度と深度の両方の機能を利用する新たな正規化損失を提案する。 提案手法は,新しい最先端性能を実現し,他の手法よりも6%以上のmIoU増加率で優れたマージンを達成している。
  論文  参考訳（メタデータ） (2021-08-03T05:11:00Z)
• Joint learning of variational representations and solvers for inverse problems with partially-observed data [13.984814587222811]
  本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。 変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。 これにより、データ駆動による変分モデルの発見につながる。
  論文  参考訳（メタデータ） (2020-06-05T19:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。