論文の概要: Language-Informed Visual Concept Learning

• arxiv url: http://arxiv.org/abs/2312.03587v2
• Date: Tue, 2 Apr 2024 18:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 22:37:19.234418
• Title: Language-Informed Visual Concept Learning
• Title（参考訳）: 言語による視覚概念学習
• Authors: Sharon Lee, Yunzhi Zhang, Shangzhe Wu, Jiajun Wu,
• Abstract要約: 我々は概念エンコーダのセットを訓練し、言語インフォームドの概念軸のセットに関連する情報を符号化する。 次に、トレーニング済みのVisual Question Answering(VQA)モデルから得られたテキスト埋め込みの集合に埋め込みの概念を固定する。 推論時に、新しいテスト画像から様々な軸に沿った概念埋め込みを抽出し、それをリミックスして視覚概念の新規な構成で画像を生成する。
• 参考スコア（独自算出の注目度）: 22.911347501969857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our understanding of the visual world is centered around various concept axes, characterizing different aspects of visual entities. While different concept axes can be easily specified by language, e.g. color, the exact visual nuances along each axis often exceed the limitations of linguistic articulations, e.g. a particular style of painting. In this work, our goal is to learn a language-informed visual concept representation, by simply distilling large pre-trained vision-language models. Specifically, we train a set of concept encoders to encode the information pertinent to a set of language-informed concept axes, with an objective of reproducing the input image through a pre-trained Text-to-Image (T2I) model. To encourage better disentanglement of different concept encoders, we anchor the concept embeddings to a set of text embeddings obtained from a pre-trained Visual Question Answering (VQA) model. At inference time, the model extracts concept embeddings along various axes from new test images, which can be remixed to generate images with novel compositions of visual concepts. With a lightweight test-time finetuning procedure, it can also generalize to novel concepts unseen at training.
• Abstract（参考訳）: 視覚的世界に対する我々の理解は、視覚的実体の異なる側面を特徴付ける様々な概念軸を中心にしている。 異なる概念軸は言語、例えば色によって容易に特定できるが、それぞれの軸に沿った正確な視覚的ニュアンスはしばしば言語的調音の限界を超える。 本研究の目的は,大規模な事前学習型視覚言語モデルを蒸留することで,言語インフォームドな視覚概念表現を学習することである。 具体的には,学習済みのテキスト・トゥ・イメージ(T2I)モデルを用いて,入力画像の再生を目的とした,言語インフォームド・コンセプト・軸の集合に関連する情報を符号化する概念エンコーダのセットを訓練する。 異なる概念エンコーダのより良いアンタングル化を促進するために,事前学習された視覚質問応答(VQA)モデルから得られた一連のテキスト埋め込みに,概念埋め込みを固定する。 推論時に、新しいテスト画像から様々な軸に沿った概念埋め込みを抽出し、それをリミックスして視覚概念の新規な構成で画像を生成する。 ライトウェイトなテストタイムの微調整手順により、トレーニングで見えない新しい概念にも一般化できる。

関連論文リスト

• Explainable Concept Generation through Vision-Language Preference Learning [7.736445799116692]
  概念に基づく説明は、ポストホック後のディープニューラルネットワークを説明するための一般的な選択肢となっている。 視覚言語生成モデルを微調整する強化学習に基づく選好最適化アルゴリズムを考案する。 提案手法の有効性と信頼性に加えて,ニューラルネットワーク解析の診断ツールとしての有用性を示す。
  論文  参考訳（メタデータ） (2024-08-24T02:26:42Z)
• Conceptual Codebook Learning for Vision-Language Models [27.68834532978939]
  視覚言語モデル(VLM)の一般化能力向上のためのCodebook Learning(CoCoLe)を提案する。 視覚概念をキーとして,概念的プロンプトを値として,概念的コードブックを学習する。 この概念的コードブック学習法は,視覚的・言語的モダリティの高度化を実現することができる。
  論文  参考訳（メタデータ） (2024-07-02T15:16:06Z)
• Pre-trained Vision-Language Models Learn Discoverable Visual Concepts [33.302556000017844]
  学習した視覚的概念が広範囲のアプリケーションを可能にすることを目標にしています。 事前学習されたVLMによってキャプチャされた視覚概念は、テキストベースの概念プロンプトで視覚言語インタフェースによって抽出できると仮定する。 提案する概念発見学習フレームワークは,汎用的な視覚概念の多種多様なリストを識別するように設計されている。
  論文  参考訳（メタデータ） (2024-04-19T06:41:32Z)
• Pix2Code: Learning to Compose Neural Visual Concepts as Programs [23.122886870560247]
  プログラム合成を視覚的リレーショナル推論に拡張するフレームワークPix2Codeを提案する。 Pix2Codeの表現は人間の解釈可能であり、性能向上のために容易に修正可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T08:14:10Z)
• Text-to-Image Generation for Abstract Concepts [76.32278151607763]
  抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。 抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。 LLM抽出フォームパターンセットから概念依存型フォームを検索する。
  論文  参考訳（メタデータ） (2023-09-26T02:22:39Z)
• DeViL: Decoding Vision features into Language [53.88202366696955]
  ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。 この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。 我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
  論文  参考訳（メタデータ） (2023-09-04T13:59:55Z)
• ConceptBed: Evaluating Concept Learning Abilities of Text-to-Image Diffusion Models [79.10890337599166]
  本研究では,284のユニークな視覚概念と33Kの合成テキストプロンプトからなる大規模データセットであるConceptBedを紹介する。 我々は、対象、属性、スタイルのいずれかである視覚概念を評価し、また、構成性の4つの次元(計数、属性、関係、行動)を評価する。 私たちの結果は、概念を学ぶことと、既存のアプローチが克服に苦労する構成性を維持することのトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-06-07T18:00:38Z)
• Concept Decomposition for Visual Exploration and Inspiration [53.06983340652571]
  本稿では,視覚概念を階層木構造に符号化した異なる視覚的側面に分解する手法を提案する。 我々は、概念分解と生成のために、大きな視覚言語モデルとそのリッチな潜在空間を利用する。
  論文  参考訳（メタデータ） (2023-05-29T16:56:56Z)
• Designing an Encoder for Fast Personalization of Text-to-Image Models [57.62449900121022]
  テキスト・ツー・イメージ・パーソナライズのためのエンコーダに基づくドメインチューニング手法を提案する。 まず、特定のドメインからターゲット概念の1つのイメージを入力として取り込むエンコーダです。 第二に、追加概念を効果的に取り入れる方法を学ぶためのテキスト・ツー・イメージ・モデルのための正規化された重み付けオフセットのセット。
  論文  参考訳（メタデータ） (2023-02-23T18:46:41Z)
• FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic descriptions, and Conceptual Relations [99.54048050189971]
  自然に発生する複数のデータストリームによってガイドされる新しい視覚概念を素早く学習するフレームワークを提案する。 学習された概念は、未知の画像について推論することで質問に答えるなど、下流のアプリケーションをサポートする。 合成と実世界の両方のデータセットにおけるモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-03-30T19:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。