論文の概要: Understanding Generative AI Content with Embedding Models
- arxiv url: http://arxiv.org/abs/2408.10437v1
- Date: Mon, 19 Aug 2024 22:07:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 17:33:21.625141
- Title: Understanding Generative AI Content with Embedding Models
- Title(参考訳): 埋め込みモデルによる生成AIコンテンツ理解
- Authors: Max Vargas, Reilly Cannon, Andrew Engel, Anand D. Sarwate, Tony Chiang,
- Abstract要約: この研究は、現代のディープニューラルネットワーク(DNN)の内部表現を、従来の機能エンジニアリングの自動化形式として捉えている。
これらの埋め込みは、非構造化サンプルデータに解釈可能で高レベルな概念を明らかにすることができることを示す。
実データとAIモデルから生成されたデータの間には、本質的に分離性が存在するという実証的な証拠が見つかる。
- 参考スコア(独自算出の注目度): 4.662332573448995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The construction of high-quality numerical features is critical to any quantitative data analysis. Feature engineering has been historically addressed by carefully hand-crafting data representations based on domain expertise. This work views the internal representations of modern deep neural networks (DNNs), called embeddings, as an automated form of traditional feature engineering. For trained DNNs, we show that these embeddings can reveal interpretable, high-level concepts in unstructured sample data. We use these embeddings in natural language and computer vision tasks to uncover both inherent heterogeneity in the underlying data and human-understandable explanations for it. In particular, we find empirical evidence that there is inherent separability between real data and that generated from AI models.
- Abstract(参考訳): 高品質な数値的特徴の構築は、いかなる定量的データ分析にも不可欠である。
機能エンジニアリングは歴史的にドメインの専門知識に基づいたデータ表現を慎重に手作りすることで対処されてきた。
この研究は、組み込みと呼ばれる現代のディープニューラルネットワーク(DNN)の内部表現を、従来の機能エンジニアリングの自動化形式として捉えている。
トレーニングされたDNNに対して、これらの埋め込みは非構造化サンプルデータに解釈可能で高レベルな概念を明らかにすることができることを示す。
自然言語とコンピュータビジョンのタスクにこれらの埋め込みを用いて、基礎となるデータに固有の不均一性と、それに対する人間の理解可能な説明の両方を明らかにする。
特に、実データとAIモデルから生成されたデータに固有の分離性が存在するという実証的な証拠が見つかる。
関連論文リスト
- The Extrapolation Power of Implicit Models [2.3526338188342653]
暗黙のモデルは、アウト・オブ・ディストリビューション、地理的、時間的シフトといった様々な外挿シナリオでテストに投入される。
我々の実験は暗黙のモデルで常に大きな性能上の優位性を証明している。
論文 参考訳(メタデータ) (2024-07-19T16:01:37Z) - Towards Explainable Artificial Intelligence (XAI): A Data Mining
Perspective [35.620874971064765]
この研究は、データ収集、処理、分析が説明可能なAI(XAI)にどのように貢献するかを「データ中心」の視点で検証する。
我々は,既存の研究を,深層モデルの解釈,トレーニングデータの影響,ドメイン知識の洞察の3つのカテゴリに分類する。
具体的には、XAIの方法論を、モダリティをまたいだデータのトレーニングおよびテストに関するデータマイニング操作に蒸留する。
論文 参考訳(メタデータ) (2024-01-09T06:27:09Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳(メタデータ) (2023-10-24T19:50:41Z) - AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。
本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。
実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
論文 参考訳(メタデータ) (2023-10-03T06:55:19Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳(メタデータ) (2023-08-26T08:48:51Z) - Persistence-based operators in machine learning [62.997667081978825]
永続性に基づくニューラルネットワークレイヤのクラスを導入します。
永続化ベースのレイヤにより、ユーザは、データによって尊重される対称性に関する知識を容易に注入でき、学習可能なウェイトを備え、最先端のニューラルネットワークアーキテクチャで構成できる。
論文 参考訳(メタデータ) (2022-12-28T18:03:41Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳(メタデータ) (2022-12-01T02:05:44Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。