論文の概要: Adaptive Contextual Perception: How to Generalize to New Backgrounds and
Ambiguous Objects
- arxiv url: http://arxiv.org/abs/2306.05963v2
- Date: Fri, 27 Oct 2023 19:35:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 21:24:44.172540
- Title: Adaptive Contextual Perception: How to Generalize to New Backgrounds and
Ambiguous Objects
- Title(参考訳): 適応的文脈知覚:新しい背景と曖昧な対象に一般化する方法
- Authors: Zhuofan Ying, Peter Hase, Mohit Bansal
- Abstract要約: 本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。
1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。
生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
- 参考スコア(独自算出の注目度): 75.15563723169234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Biological vision systems make adaptive use of context to recognize objects
in new settings with novel contexts as well as occluded or blurry objects in
familiar settings. In this paper, we investigate how vision models adaptively
use context for out-of-distribution (OOD) generalization and leverage our
analysis results to improve model OOD generalization. First, we formulate two
distinct OOD settings where the contexts are either irrelevant
(Background-Invariance) or beneficial (Object-Disambiguation), reflecting the
diverse contextual challenges faced in biological vision. We then analyze model
performance in these two different OOD settings and demonstrate that models
that excel in one setting tend to struggle in the other. Notably, prior works
on learning causal features improve on one setting but hurt in the other. This
underscores the importance of generalizing across both OOD settings, as this
ability is crucial for both human cognition and robust AI systems. Next, to
better understand the model properties contributing to OOD generalization, we
use representational geometry analysis and our own probing methods to examine a
population of models, and we discover that those with more factorized
representations and appropriate feature weighting are more successful in
handling Background-Invariance and Object-Disambiguation tests. We further
validate these findings through causal intervention on representation
factorization and feature weighting to demonstrate their causal effect on
performance. Lastly, we propose new augmentation methods to enhance model
generalization. These methods outperform strong baselines, yielding
improvements in both in-distribution and OOD tests. In conclusion, to replicate
the generalization abilities of biological vision, computer vision models must
have factorized object vs. background representations and appropriately weight
both kinds of features.
- Abstract(参考訳): 生物学的視覚システムは、新しいコンテキストを持つ新しい設定におけるオブジェクトを認識するためにコンテキストを適応的に利用する。
本稿では,視覚モデルがどのようにコンテキストをオフ・オブ・ディストリビューション(OOD)の一般化に適応的に利用するかを検討した。
まず,文脈が無関係(背景不変性)か有益(対象曖昧性)のどちらかである2つの異なるOOD設定を定式化し,生物学的視覚において直面する多様な文脈的課題を反映する。
次に、これらの2つの異なるOOD設定でモデルパフォーマンスを分析し、一方で優れたモデルが他方で苦労する傾向があることを示す。
特に、因果的特徴の学習に関する事前の作業は、ある設定では改善されるが、もう一方では傷つく。
これは、人間の認識と堅牢なAIシステムの両方にとって、この能力が不可欠であるため、OOD設定の両方にまたがって一般化することの重要性を強調している。
次に,ood一般化に寄与するモデル特性をよりよく理解するために,表現幾何学解析と独自の探索法を用いてモデル集団を調査し,より因子化された表現と適切な特徴重み付けを持つモデルが,背景非分散テストやオブジェクト非曖昧化テストの処理に成功していることを発見した。
さらに,表現因子化と特徴重み付けに因果的介入を行い,それらの要因がパフォーマンスに与える影響を検証した。
最後に,モデル一般化を強化する新しい拡張手法を提案する。
これらの手法は強いベースラインを上回り、分配試験とOOD試験の両方の改善をもたらす。
結論として、生体視覚の一般化能力を再現するには、コンピュータビジョンモデルは、対象と背景表現を分解し、両方の特徴を適切に重み付けなければならない。
関連論文リスト
- ObjectCompose: Evaluating Resilience of Vision-Based Models on
Object-to-Background Compositional Changes [69.28123489510172]
本研究では,視覚モデルによる多様な背景背景環境に対するレジリエンスを評価する。
我々は、画像から画像への変換、画像から画像への変換、および画像から画像への変換モデルの生成機能を利用して、オブジェクトから背景への変換を自動的に生成する。
論文 参考訳(メタデータ) (2024-03-07T17:48:48Z) - Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD
Generalization [12.170049816808797]
既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。
本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。
具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
論文 参考訳(メタデータ) (2024-01-29T06:57:48Z) - Generalization properties of contrastive world models [10.806958747213976]
我々は、対照的な世界モデルの一般化特性について広範な研究を行う。
実験の結果, 異なるOODテストの下では, 対照的な世界モデルでは一般化できないことがわかった。
我々の研究は、一般化のためのオブジェクト中心表現の重要性を強調し、現在のモデルは人間レベルの一般化に必要な表現を学習する能力に制限されている。
論文 参考訳(メタデータ) (2023-12-29T19:25:34Z) - Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion
Models [58.46926334842161]
この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。
本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。
提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
論文 参考訳(メタデータ) (2023-12-10T22:07:42Z) - One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。
本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。
2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
論文 参考訳(メタデータ) (2023-11-29T16:23:06Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-09T21:19:39Z) - Spurious Feature Diversification Improves Out-of-distribution
Generalization [45.73116618895293]
アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。
トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。
論文 参考訳(メタデータ) (2023-09-29T13:29:22Z) - Interpretable Computer Vision Models through Adversarial Training:
Unveiling the Robustness-Interpretability Connection [0.0]
解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。
標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
論文 参考訳(メタデータ) (2023-07-04T13:51:55Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。