論文の概要: CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization

• arxiv url: http://arxiv.org/abs/2403.11494v1
• Date: Mon, 18 Mar 2024 05:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:26:41.727220
• Title: CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization
• Title（参考訳）: CCC++:Segment Anything Model (SAM) を用いた最適色分類
• Authors: Mrityunjoy Gain, Avi Deb Raha, Rameswar Debnath,
• Abstract要約: カラー化問題を多項分類問題に定式化し、次に重み付き関数をクラスに適用する。 クラスを最適化するために、カラークラス変換のために異なるビンサイズで実験する。 カラークラスアクティベーション比(CCAR)とTrue Activation比(TAR)の2つの新しいカラー画像評価指標を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we formulate the colorization problem into a multinomial classification problem and then apply a weighted function to classes. We propose a set of formulas to transform color values into color classes and vice versa. To optimize the classes, we experiment with different bin sizes for color class transformation. Observing class appearance, standard deviation, and model parameters on various extremely large-scale real-time images in practice we propose 532 color classes for our classification task. During training, we propose a class-weighted function based on true class appearance in each batch to ensure proper saturation of individual objects. We adjust the weights of the major classes, which are more frequently observed, by lowering them, while escalating the weights of the minor classes, which are less commonly observed. In our class re-weight formula, we propose a hyper-parameter for finding the optimal trade-off between the major and minor appeared classes. As we apply regularization to enhance the stability of the minor class, occasional minor noise may appear at the object's edges. We propose a novel object-selective color harmonization method empowered by the Segment Anything Model (SAM) to refine and enhance these edges. We propose two new color image evaluation metrics, the Color Class Activation Ratio (CCAR), and the True Activation Ratio (TAR), to quantify the richness of color components. We compare our proposed model with state-of-the-art models using six different dataset: Place, ADE, Celeba, COCO, Oxford 102 Flower, and ImageNet, in qualitative and quantitative approaches. The experimental results show that our proposed model outstrips other models in visualization, CNR and in our proposed CCAR and TAR measurement criteria while maintaining satisfactory performance in regression (MSE, PSNR), similarity (SSIM, LPIPS, UIUI), and generative criteria (FID).
• Abstract（参考訳）: 本稿では,カラー化問題を多項分類問題に定式化し,重み付き関数をクラスに適用する。 カラー値をカラークラスに変換するための式セットを提案し,その逆も提案する。 クラスを最適化するために、カラークラス変換のために異なるビンサイズで実験する。 様々な大規模リアルタイム画像のクラス外観,標準偏差,モデルパラメータを観測し,実例では分類タスクに532種類のカラークラスを提案する。 トレーニング中,各バッチにおける真のクラス外観に基づくクラス重み付き関数を提案し,個々のオブジェクトの適切な飽和を保証する。 我々は、より頻繁に観測される主要なクラスの重みを調整し、それらを下げると同時に、あまり観測されないマイナークラスの重みをエスカレートする。 クラス再重み付け式では,メジャークラスとマイナークラスの最適トレードオフを求めるためのハイパーパラメータを提案する。 マイナークラスの安定性を高めるために正規化を適用すると、時々小さなノイズがオブジェクトの端に現れる。 我々は,これらのエッジを洗練・拡張するために,SAM(Segment Anything Model)によって強化された新しいオブジェクト選択色調和法を提案する。 そこで我々は,色彩成分のリッチさを定量化するために,カラークラスアクティベーション比 (CCAR) とTrue Activation Ratio (TAR) の2つの新しいカラー画像評価指標を提案する。 提案したモデルと,Place,ADE,Celeba,COCO,Oxford 102 Flower,ImageNetの6つの異なるデータセットを用いた最先端モデルとの比較を行った。 実験の結果,提案モデルは他のモデルよりも可視化, CNR, CCARおよびTAR測定基準を超越し, 回帰(MSE, PSNR), 類似性(SSIM, LPIPS, UIUI), 生成基準(FID)の順応性を維持した。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• CCC: Color Classified Colorization [0.0]
  カラー化問題を多項分類問題に定式化し、次に重み付き関数をクラスに適用する。 カラー値をカラークラスに変換するための式セットを提案し,その逆も提案する。 提案したモデルと5つの異なるデータセットを用いた最先端モデルを比較した。
  論文  参考訳（メタデータ） (2024-03-03T11:00:15Z)
• CoinSeg: Contrast Inter- and Intra- Class Representations for Incremental Segmentation [85.13209973293229]
  クラスインクリメンタルセマンティックセグメンテーションは、モデルの安定性と可塑性のバランスをとることを目的としている。 インクリメンタル(CoinSeg)のためのコントラスト間およびクラス内表現を提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:08:49Z)
• Incorporating Ensemble and Transfer Learning For An End-To-End Auto-Colorized Image Detection Model [0.0]
  本稿では,移動学習とアンサンブル学習の利点を組み合わせた新たな手法を提案する。 提案したモデルは、94.55%から99.13%の精度で有望な結果を示す。
  論文  参考訳（メタデータ） (2023-09-25T19:22:57Z)
• Unicom: Universal and Compact Representation Learning for Image Retrieval [65.96296089560421]
  大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。 このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。 提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-12T14:25:52Z)
• Equalization and Brightness Mapping Modes of Color-to-Gray Projection Operators [0.0]
  カラーRGB画像のグレースケールへの変換は、3色チャネルを1つに投影するのに使用される数学的演算子を特徴付ける。 EQモードの3つのクラスとBMモードの2つのクラスが線形演算子で発見され、6クラス分類が定義された。 その結果、2つのBMモードのクラスのうちの1つを評価するのに、色と粒の変換の質を評価するために使われている現在の指標のほとんどが、人間のチームによって選択された理想的な演算子は、他のクラスに属していることがわかった。
  論文  参考訳（メタデータ） (2022-08-21T19:23:06Z)
• Rank4Class: A Ranking Formulation for Multiclass Classification [26.47229268790206]
  マルチクラス分類(MCC)は基本的な機械学習問題である。 ランキングのレンズを通した新しい定式化により,MCCの性能を向上させることは容易であることを示す。
  論文  参考訳（メタデータ） (2021-12-17T19:22:37Z)
• Color Counting for Fashion, Art, and Design [0.0]
  カラーモデリングの最初のステップは、アイテム/オブジェクトの色の数を見積もることです。 累積色ヒストグラムに基づく新しいカラーカウント手法を提案する。 この研究は、カラーカウントマシンの問題に対処する最初の試みである。
  論文  参考訳（メタデータ） (2021-10-13T12:42:15Z)
• On Model Calibration for Long-Tailed Object Detection and Instance Segmentation [56.82077636126353]
  NorCal, Normalized for long-tailed object detection and instance segmentation。 バックグラウンドクラスを個別に扱い、各提案のクラスに対してスコアを正規化することは、優れたパフォーマンスを達成するための鍵であることを示す。
  論文  参考訳（メタデータ） (2021-07-05T17:57:20Z)
• Multiscale Deep Equilibrium Models [162.15362280927476]
  マルチスケールディープ均衡モデル(MDEQ)を新たに提案する。 MDEQは、複数の特徴分解の平衡点を直接解き、同時に伝播する。 本稿では,Cityscapesデータセットの高解像度画像に対するイメージネット分類とセマンティックセグメンテーションの2つの大規模ビジョンタスクにおけるこのアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2020-06-15T18:07:44Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。