論文の概要: Planckian jitter: enhancing the color quality of self-supervised visual representations

• arxiv url: http://arxiv.org/abs/2202.07993v1
• Date: Wed, 16 Feb 2022 11:13:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 14:24:27.355360
• Title: Planckian jitter: enhancing the color quality of self-supervised visual representations
• Title（参考訳）: プランクアンジッタ:自己監督型視覚表現の色質の向上
• Authors: Simone Zini, Marco Buzzelli, Bart{\l}omiej Twardowski and Joost van de Weijer
• Abstract要約: 従来の色ジッタが学習した特徴表現における色特徴の質に悪影響を及ぼすかを分析する。 私たちはこのモジュールをPlanckian jitterと呼ばれる物理ベースの色増色に置き換え、色度を現実的に変化させる。 学習した特徴の性能は照度の変化に対して頑健であることを示す。
• 参考スコア（独自算出の注目度）: 32.28858433165915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent works on self-supervised learning are trained by mapping different augmentations of the same image to the same feature representation. The set of used data augmentations is of crucial importance for the quality of the learned feature representation. We analyze how the traditionally used color jitter negatively impacts the quality of the color features in the learned feature representation. To address this problem, we replace this module with physics-based color augmentation, called Planckian jitter, which creates realistic variations in chromaticity, producing a model robust to llumination changes that can be commonly observed in real life, while maintaining the ability to discriminate the image content based on color information. We further improve the performance by introducing a latent space combination of color-sensitive and non-color-sensitive features. These are found to be complementary and the combination leads to large absolute performance gains over the default data augmentation on color classification tasks, including on Flowers-102 (+15%), Cub200 (+11%), VegFru (+15%), and T1K+ (+12%). Finally, we present a color sensitivity analysis to document the impact of different training methods on the model neurons and we show that the performance of the learned features is robust with respect to illuminant variations.
• Abstract（参考訳）: 自己教師付き学習に関する最近の研究は、同じ画像の異なる拡張を同じ特徴表現にマッピングすることで訓練されている。 使用済みデータの増大は、学習した特徴表現の品質にとって非常に重要である。 従来の色ジッタが学習した特徴表現における色特徴の質に悪影響を及ぼすかを分析する。 この問題に対処するために,本モジュールは,色彩の現実的な変化を生じさせ,実生活でよく見られる輝度変化に頑健なモデルを生成し,色情報に基づく画像内容の判別能力を維持しながら,物理ベースの色拡張(planckian jitter)に置き換える。 我々は、色感受性と非色感受性の遅延空間の組み合わせにより、性能をさらに向上する。 これらの組み合わせは、Flowers-102 (+15%)、Cube200 (+11%)、VegFru (+15%)、T1K+ (+12%)など、カラー分類タスクのデフォルトデータ拡張よりも絶対的なパフォーマンス向上をもたらす。 最後に,異なるトレーニング方法がモデルニューロンに与える影響を文書化するために色感度解析を行い,学習した特徴量の性能が照度変化に対して頑健であることを示す。

関連論文リスト

• Data Augmentation via Latent Diffusion for Saliency Prediction [67.88936624546076]
  残差予測モデルはラベル付きデータの限られた多様性と量によって制約される。 本研究では,実世界のシーンの複雑さと変動性を保ちながら,自然画像の編集を行うディープ・サリエンシ・予測のための新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-09-11T14:36:24Z)
• Exploring Color Invariance through Image-Level Ensemble Learning [7.254270666779331]
  本研究ではランダムカラー消去という学習戦略を紹介する。 元の画像構造を乱すことなく、トレーニングデータの部分的又は完全な色情報を選択的に消去する。 このアプローチは、過剰適合のリスクを軽減し、色の変化を処理するモデルの能力を強化する。
  論文  参考訳（メタデータ） (2024-01-19T06:04:48Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
  公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。 モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある 本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:51:10Z)
• Color Equivariant Convolutional Networks [50.655443383582124]
  CNNは、偶然に記録された条件によって導入された色の変化の間にデータ不均衡がある場合、苦労する。 カラースペクトル間の形状特徴共有を可能にする新しいディープラーニングビルディングブロックであるカラー等変畳み込み(CEConvs)を提案する。 CEConvsの利点は、様々なタスクに対するダウンストリーム性能と、列車-テストの分散シフトを含む色の変化に対するロバスト性の改善である。
  論文  参考訳（メタデータ） (2023-10-30T09:18:49Z)
• The Influences of Color and Shape Features in Visual Contrastive Learning [0.0]
  本稿では,個々の画像特徴(色や形状など)がモデル性能に与える影響について検討する。 実験結果から、教師付き表現と比較して、コントラスト表現は類似した色を持つオブジェクトとクラスタリングする傾向にあることが示された。
  論文  参考訳（メタデータ） (2023-01-29T15:10:14Z)
• ColorSense: A Study on Color Vision in Machine Visual Recognition [57.916512479603064]
  視覚認識ベンチマークから,前景や背景色ラベルの非自明なアノテーション110,000点を収集する。 色識別のレベルがマシン認識モデルの性能に与える影響を実証することにより、データセットの使用を検証した。 その結果,分類や局所化などの物体認識タスクは,色覚バイアスの影響を受けやすいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-16T18:51:41Z)
• Name Your Colour For the Task: Artificially Discover Colour Naming via Colour Quantisation Transformer [62.75343115345667]
  そこで本研究では,色空間を定量化しつつ,画像上での認識を維持しつつ,色空間を定量化する新しい色量子化変換器CQFormerを提案する。 人工色システムと人間の言語における基本色用語との一貫性のある進化パターンを観察する。 我々のカラー量子化法は、画像記憶を効果的に圧縮する効率的な量子化法も提供する。
  論文  参考訳（メタデータ） (2022-12-07T03:39:18Z)
• Neural Color Operators for Sequential Image Retouching [62.99812889713773]
  本稿では,新たに導入したトレーニング可能なニューラルカラー演算子のシーケンスとして,リタッチ処理をモデル化して,新しい画像リタッチ手法を提案する。 ニューラルカラー演算子は、従来のカラー演算子の振舞いを模倣し、その強度をスカラーで制御しながらピクセルワイズな色変換を学習する。 定量的な測定と視覚的品質の両面で,SOTA法と比較して常に最良の結果が得られている。
  論文  参考訳（メタデータ） (2022-07-17T05:33:19Z)
• Color Invariant Skin Segmentation [17.501659517108884]
  本稿では,カラー情報に頼らずに画像中の皮膚を自動的に検出する問題に対処する。 この研究の主な動機は、皮膚のトーン全体にわたって一貫性のある結果を達成することである。 我々はそのような情報がない場合によく機能する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-21T05:07:21Z)
• Structure-Preserving Multi-Domain Stain Color Augmentation using Style-Transfer with Disentangled Representations [0.9051352746190446]
  HistAuGANは、様々な現実的な組織学の染色色をシミュレートできるため、トレーニング中にニューラルネットワークの染色が不変になる。 画像から画像への変換のためのGAN(generative adversarial network)に基づいて,画像の内容,すなわち形態的組織構造を染色色属性から切り離す。 複数のドメインでトレーニングすることができるため、スライド作成および撮像プロセスで導入された他のドメイン固有のバリエーションと同様に、異なる染色色をカバーできることを学ぶことができる。
  論文  参考訳（メタデータ） (2021-07-26T17:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。