論文の概要: Coping with Change: Learning Invariant and Minimum Sufficient
Representations for Fine-Grained Visual Categorization
- arxiv url: http://arxiv.org/abs/2306.04893v3
- Date: Tue, 10 Oct 2023 01:24:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 08:58:44.230220
- Title: Coping with Change: Learning Invariant and Minimum Sufficient
Representations for Fine-Grained Visual Categorization
- Title(参考訳): 変化に対応する: 細粒度視覚分類のための学習不変量および最小表現
- Authors: Shuo Ye and Shujian Yu and Wenjin Hou and Yu Wang and Xinge You
- Abstract要約: 細粒度視覚分類(FGVC)は、様々な種間の類似した視覚的外観のために難しい課題である。
以前の研究では、トレーニングデータとテストデータは、同じ基礎的な分布を持ち、現代のバックボーンアーキテクチャによって抽出された特徴は差別的であり、見つからないテストデータによく当てはまると仮定されている。
我々は、FGVCにおける不変リスク最小化(IRM)と情報ボトルネック(IB)の原則を組み合わせて、不変性と最小限のIMS表現を学習する。
- 参考スコア(独自算出の注目度): 26.254072665916155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-grained visual categorization (FGVC) is a challenging task due to
similar visual appearances between various species. Previous studies always
implicitly assume that the training and test data have the same underlying
distributions, and that features extracted by modern backbone architectures
remain discriminative and generalize well to unseen test data. However, we
empirically justify that these conditions are not always true on benchmark
datasets. To this end, we combine the merits of invariant risk minimization
(IRM) and information bottleneck (IB) principle to learn invariant and minimum
sufficient (IMS) representations for FGVC, such that the overall model can
always discover the most succinct and consistent fine-grained features. We
apply the matrix-based R{\'e}nyi's $\alpha$-order entropy to simplify and
stabilize the training of IB; we also design a ``soft" environment partition
scheme to make IRM applicable to FGVC task. To the best of our knowledge, we
are the first to address the problem of FGVC from a generalization perspective
and develop a new information-theoretic solution accordingly. Extensive
experiments demonstrate the consistent performance gain offered by our IMS.
- Abstract(参考訳): 細粒度視覚分類(FGVC)は、様々な種間の類似した視覚的外観のために難しい課題である。
以前の研究では、トレーニングデータとテストデータは、同じ基礎的な分布を持ち、現代のバックボーンアーキテクチャによって抽出された特徴は差別的であり、見当たらないテストデータによく当てはまると暗黙に仮定していた。
しかし、これらの条件が必ずしもベンチマークデータセットに当てはまるとは限らないことを実証的に正当化する。
この目的のために、FGVCの不変かつ最小の十分(IMS)表現を学習するために、不変リスク最小化(IRM)と情報ボトルネック(IB)の原則を組み合わせる。
我々は行列ベースの r{\'e}nyi の $\alpha$-order entropy を適用して ib のトレーニングを単純化し安定化する。
我々の知る限りでは、我々は一般化の観点から初めてFGVCの問題に対処し、それに応じて新しい情報理論のソリューションを開発する。
大規模な実験では、IMSによる一貫したパフォーマンス向上が示されています。
関連論文リスト
- Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - Meta-Learning Operators to Optimality from Multi-Task Non-IID Data [1.7587442088965224]
すべてのデータを使って共通の表現関数を学ぶことは、計算の労力と統計的一般化の両方に利益がある。
既存の異方性に依存しないメタラーニングは、表現更新に偏りを生じさせるため、ノイズ項のスケーリングは、ソースタスクの数に好ましくない。
我々は、Collins et al. (2021) で提案された交互化最小化退化スキームの適応 $texttDFW$ を導入し、最適な表現に線形収束を確立する。
論文 参考訳(メタデータ) (2023-08-08T17:56:20Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Learning Optimal Features via Partial Invariance [18.552839725370383]
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
論文 参考訳(メタデータ) (2023-01-28T02:48:14Z) - Counterfactual Supervision-based Information Bottleneck for
Out-of-Distribution Generalization [40.94431121318241]
線形分類問題において, 不変リスク最小化アルゴリズム (IB-IRM) は不変特徴を学習するのに十分でないことを示す。
我々は,その不変性を良好に回復する,textitCounterfactual Supervision-based Information Bottleneck (CSIB) 学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-16T15:26:00Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T04:10:04Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - DAIR: Data Augmented Invariant Regularization [20.364846667289374]
本稿では,データ拡張不変正規化(DAIR)を提案する。
DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。
ドメインシフトを含む複数の実世界の学習問題に適用する。
論文 参考訳(メタデータ) (2021-10-21T15:30:40Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳(メタデータ) (2021-06-28T16:31:30Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。