論文の概要: Concept Algebra for Text-Controlled Vision Models

• arxiv url: http://arxiv.org/abs/2302.03693v1
• Date: Tue, 7 Feb 2023 20:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 18:16:58.783331
• Title: Concept Algebra for Text-Controlled Vision Models
• Title（参考訳）: テキスト制御視覚モデルのための概念代数
• Authors: Zihao Wang, Lin Gui, Jeffrey Negrea, Victor Veitch
• Abstract要約: 我々は、モデルがトレーニングされたデータ生成プロセスに暗黙的な潜在概念の観点から「ユーザが意図したもの」の形式化を導入する。 次に、これらの制限を克服する概念代数学を開発するために形式主義を用いる。
• 参考スコア（独自算出の注目度）: 20.58292673854559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper concerns the control of text-guided generative models, where a user provides a natural language prompt and the model generates samples based on this input. Prompting is intuitive, general, and flexible. However, there are significant limitations: prompting can fail in surprising ways, and it is often unclear how to find a prompt that will elicit some desired target behavior. A core difficulty for developing methods to overcome these issues is that failures are know-it-when-you-see-it -- it's hard to fix bugs if you can't state precisely what the model should have done! In this paper, we introduce a formalization of "what the user intended" in terms of latent concepts implicit to the data generating process that the model was trained on. This formalization allows us to identify some fundamental limitations of prompting. We then use the formalism to develop concept algebra to overcome these limitations. Concept algebra is a way of directly manipulating the concepts expressed in the output through algebraic operations on a suitably defined representation of input prompts. We give examples using concept algebra to overcome limitations of prompting, including concept transfer through arithmetic, and concept nullification through projection. Code available at https://github.com/zihao12/concept-algebra.
• Abstract（参考訳）: 本稿では、ユーザが自然言語プロンプトを提供し、この入力に基づいてサンプルを生成するテキスト誘導生成モデルの制御について述べる。 プロンプトは直感的で、一般的で、柔軟です。 しかし、大きな制限がある: プロンプトは驚くべき方法で失敗する可能性がある。 これらの問題を克服するためのメソッドを開発する上での最大の難点は、障害がノウイットであることです -- モデルが何を行うべきかを正確に述べられなければ、バグを修正することは難しいのです! 本稿では,モデルがトレーニングしたデータ生成プロセスに暗黙的な潜在概念という観点から,ユーザが意図した"意図するもの"の形式化を提案する。 この形式化により、プロンプトの基本的な制限を特定できる。 次に、形式主義を用いてこれらの制限を克服する概念代数を開発する。 概念代数(concept algebra)は、入力プロンプトの適切に定義された表現上の代数演算を通して出力で表現された概念を直接操作する方法である。 本稿では,算術による概念伝達や射影による概念無効化など,プロンプトの限界を克服するために概念代数を用いた例を示す。 コードはhttps://github.com/zihao12/concept-algebra。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• The Geometry of Categorical and Hierarchical Concepts in Large Language Models [15.126806053878855]
  線形表現仮説の形式化をベクトルとして(例:is_animal)特徴を表現するために拡張する方法を示す。 形式化を用いて、概念の階層構造とそれらの表現の幾何学との関係を証明する。 我々はこれらの理論結果をGemmaとLLaMA-3大言語モデルで検証し、WordNetのデータを用いて900以上の階層的な概念の表現を推定する。
  論文  参考訳（メタデータ） (2024-06-03T16:34:01Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
  本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。 次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-12T20:53:35Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Simple Mechanisms for Representing, Indexing and Manipulating Concepts [46.715152257557804]
  我々は、概念の具体的な表現やシグネチャを生成するために、そのモーメント統計行列を見ることで概念を学ぶことができると論じる。 概念が交差しているとき、概念のシグネチャを使用して、関連する多くの相互交差した概念の共通テーマを見つけることができる。
  論文  参考訳（メタデータ） (2023-10-18T17:54:29Z)
• MetaSRL++: A Uniform Scheme for Modelling Deeper Semantics [0.0]
  このようなスキームに到達するためには、共通のモデリングスキームも必要である。 MetaSRL++は、セマンティックグラフに基づく一様で言語に依存しないモデリングスキームである。
  論文  参考訳（メタデータ） (2023-05-16T15:26:52Z)
• The Conceptual VAE [7.15767183672057]
  本稿では,変分オートエンコーダの枠組みに基づく新しい概念モデルを提案する。 このモデルは、概念のβ-VAEモデルにインスパイアされ、密接に関連しています。 モデルが概念分類器としてどのように使用できるか、そしてインスタンス毎に少ないラベルから学習するためにどのように適応できるかを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:27:28Z)
• VAE-CE: Visual Contrastive Explanation using Disentangled VAEs [3.5027291542274357]
  変分自己エンコーダに基づくコントラスト説明(VAE-CE) 本研究では,各次元をアンタングル化するための新しい教師付き手法で拡張した,アンタングル付きVAEを用いたモデルを構築した。 合成データとMNISTの分析は、解離と説明の両方へのアプローチが他の方法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2021-08-20T13:15:24Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。