論文の概要: Substance or Style: What Does Your Image Embedding Know?

• arxiv url: http://arxiv.org/abs/2307.05610v1
• Date: Mon, 10 Jul 2023 22:40:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:09:00.982986
• Title: Substance or Style: What Does Your Image Embedding Know?
• Title（参考訳）: 物質かスタイルか: あなたのイメージは何を知っているのか?
• Authors: Cyrus Rashtchian and Charles Herrmann and Chun-Sung Ferng and Ayan Chakrabarti and Dilip Krishnan and Deqing Sun and Da-Cheng Juan and Andrew Tomkins
• Abstract要約: 画像基盤モデルは、主にセマンティックコンテンツとして評価されている。 画像のスタイル,品質,自然および人工的な変換など,多数の軸に沿った埋め込みの視覚的内容を測定する。 画像テキストモデル (CLIP と ALIGN) はマスキングベースモデル (CAN と MAE) よりもスタイル転送の新しい例を認識するのが得意である。
• 参考スコア（独自算出の注目度）: 55.676463077772866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probes are small networks that predict properties of underlying data from embeddings, and they provide a targeted, effective way to illuminate the information contained in embeddings. While analysis through the use of probes has become standard in NLP, there has been much less exploration in vision. Image foundation models have primarily been evaluated for semantic content. Better understanding the non-semantic information in popular embeddings (e.g., MAE, SimCLR, or CLIP) will shed new light both on the training algorithms and on the uses for these foundation models. We design a systematic transformation prediction task and measure the visual content of embeddings along many axes, including image style, quality, and a range of natural and artificial transformations. Surprisingly, six embeddings (including SimCLR) encode enough non-semantic information to identify dozens of transformations. We also consider a generalization task, where we group similar transformations and hold out several for testing. We find that image-text models (CLIP and ALIGN) are better at recognizing new examples of style transfer than masking-based models (CAN and MAE). Overall, our results suggest that the choice of pre-training algorithm impacts the types of information in the embedding, and certain models are better than others for non-semantic downstream tasks.
• Abstract（参考訳）: プローブは、埋め込みから基礎となるデータの性質を予測する小さなネットワークであり、埋め込みに含まれる情報を照らし出すターゲットとして効果的な方法を提供する。 プローブを用いた解析はNLPでは標準となっているが、視界での探索はずっと少ない。 イメージ基盤モデルは、主にセマンティックコンテンツとして評価されている。 一般的な埋め込み(例えば、MAE、SimCLR、CLIP)における非意味的な情報を理解することで、トレーニングアルゴリズムとこれらの基盤モデルの使用の両方に新たな光が当てられる。 システム変換予測タスクをデザインし,画像スタイルや品質,自然および人工的変換など,多数の軸に沿った埋め込みの視覚内容を測定する。 驚いたことに、6つの埋め込み(simclrを含む)は、数十の変換を識別するために十分な非意味情報をエンコードする。 また、同様の変換をグループ化し、テストのためにいくつかを保持する一般化タスクも検討しています。 画像テキストモデル (CLIP と ALIGN) はマスキングベースモデル (CAN と MAE) よりもスタイル転送の新たな例を認識するのが得意である。 全体として,事前学習アルゴリズムの選択は組込み情報の種類に影響を与え,非意味的下流タスクにおいては,特定のモデルの方が優れていることが示唆された。

関連論文リスト

• Exploring Simple Open-Vocabulary Semantic Segmentation [7.245983878396646]
  オープン語彙セマンティックセグメンテーションモデルは、任意のオープン語彙テキストの集合から画像中の各ピクセルにセマンティックラベルを正確に割り当てることを目的としている。 本稿では,これらの要素に依存することなく驚くほど高い性能を実現する新モデルであるS-Segを紹介する。
  論文  参考訳（メタデータ） (2024-01-22T18:59:29Z)
• Mixture of Self-Supervised Learning [2.191505742658975]
  自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。 従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。 これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-07-27T14:38:32Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
  我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。 そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。 私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
  論文  参考訳（メタデータ） (2022-11-21T14:27:07Z)
• Survey on Self-supervised Representation Learning Using Image Transformations [0.8098097078441623]
  自己教師あり学習(英: self-supervised learning, SSL)は、教師なし表現学習において用いられる技法である。 幾何変換はSSLの強力な監視信号であることが示されている。 予測および自動エンコード変換に基づく画像変換を含む画像変換を用いた6つの代表モデルをショートリスト化する。 分析の結果,AETv2はほとんどの環境で最高の性能を示した。
  論文  参考訳（メタデータ） (2022-02-17T08:37:50Z)
• TransformNet: Self-supervised representation learning through predicting geometric transformations [0.8098097078441623]
  入力データに適用された幾何変換の認識のための教師なし意味特徴学習手法について述べる。 我々のアプローチの基本概念は、画像中の物体を知らない人が、それらに適用された幾何学的変換を定量的に予測できないことである。
  論文  参考訳（メタデータ） (2022-02-08T22:41:01Z)
• A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
  このデータセットをRIVAL10と呼びます。 本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。 本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
  論文  参考訳（メタデータ） (2022-01-26T06:31:28Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。