論文の概要: Masked Completion via Structured Diffusion with White-Box Transformers
- arxiv url: http://arxiv.org/abs/2404.02446v1
- Date: Wed, 3 Apr 2024 04:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:39:40.471350
- Title: Masked Completion via Structured Diffusion with White-Box Transformers
- Title（参考訳）: 白箱変圧器を用いた構造拡散による仮面補完
- Authors: Druv Pai, Ziyang Wu, Sam Buchanan, Yaodong Yu, Yi Ma,
- Abstract要約: 大規模教師なし表現学習に適用可能なホワイトボックス設計パラダイムの最初のインスタンス化を提供する。
我々は、拡散、圧縮、および(マスクされた)完了の基本的な接続を利用して、ディープトランスフォーマーのようなマスク付きオートエンコーダアーキテクチャを導出する。
CRATE-MAEは、大規模データセット上で非常に有望なパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 23.07048591213815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern learning frameworks often train deep neural networks with massive amounts of unlabeled data to learn representations by solving simple pretext tasks, then use the representations as foundations for downstream tasks. These networks are empirically designed; as such, they are usually not interpretable, their representations are not structured, and their designs are potentially redundant. White-box deep networks, in which each layer explicitly identifies and transforms structures in the data, present a promising alternative. However, existing white-box architectures have only been shown to work at scale in supervised settings with labeled data, such as classification. In this work, we provide the first instantiation of the white-box design paradigm that can be applied to large-scale unsupervised representation learning. We do this by exploiting a fundamental connection between diffusion, compression, and (masked) completion, deriving a deep transformer-like masked autoencoder architecture, called CRATE-MAE, in which the role of each layer is mathematically fully interpretable: they transform the data distribution to and from a structured representation. Extensive empirical evaluations confirm our analytical insights. CRATE-MAE demonstrates highly promising performance on large-scale imagery datasets while using only ~30% of the parameters compared to the standard masked autoencoder with the same model configuration. The representations learned by CRATE-MAE have explicit structure and also contain semantic meaning. Code is available at https://github.com/Ma-Lab-Berkeley/CRATE .
- Abstract（参考訳）: 現代の学習フレームワークは、しばしば、大量のラベルのないデータでディープニューラルネットワークをトレーニングし、単純なプレテキストタスクを解くことによって表現を学び、その表現を下流タスクの基礎として使用する。
これらのネットワークは経験的に設計されており、通常は解釈できないため、それらの表現は構造化されておらず、設計は冗長である可能性がある。
ホワイトボックスのディープネットワークでは、各レイヤがデータの構造を明確に識別し、変換し、有望な代替手段を提供する。
しかし、既存のホワイトボックスアーキテクチャは、分類などのラベル付きデータによる教師付き設定でのみ、大規模に機能することが示されている。
本研究では,大規模非教師付き表現学習に適用可能なホワイトボックス設計パラダイムの最初のインスタンス化を提案する。
我々は、拡散、圧縮、および(マスクされた)完了の基本的な接続を利用して、各層の役割が数学的に完全に解釈可能なCRATE-MAEと呼ばれるディープトランスフォーマーのようなマスク付きオートエンコーダアーキテクチャを導出し、データ分布を構造化表現へ変換する。
大規模な経験的評価は、我々の分析的な洞察を裏付ける。
CRATE-MAEは、同じモデル構成の標準的なマスク付きオートエンコーダと比較して、パラメータの30%程度しか使用せず、大規模なデータセット上で非常に有望なパフォーマンスを示す。
CRATE-MAEによって学習された表現は明示的な構造を持ち、意味的な意味も含んでいる。
コードはhttps://github.com/Ma-Lab-Berkeley/CRATEで入手できる。
関連論文リスト
- (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。
構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。
我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。
視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
論文 参考訳（メタデータ） (2024-07-24T16:47:45Z) - How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。
SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
論文 参考訳（メタデータ） (2024-04-16T17:01:27Z) - White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is? [27.58916930770997]
数学的に完全に解釈可能なCRATEという,ホワイトボックストランスフォーマーのようなディープネットワークアーキテクチャのファミリーを示す。
実験によると、これらのネットワークは単純さにもかかわらず、大規模な実世界の画像とテキストデータセットの表現を圧縮し、分散化することを学習している。
論文 参考訳（メタデータ） (2023-11-22T02:23:32Z) - Emergence of Segmentation with Minimalistic White-Box Transformers [22.688777622988795]
従来の研究では、視覚変換器(ViT)はDINOのような自己教師型手法で訓練されるが、教師型分類タスクでは訓練されていない。
本研究では,複雑な自己教師付き学習機構の結果としてのみ,変圧器モデルにセグメンテーションが出現するかどうかを考察する。
この結果から,高い性能と数学的に完全に解釈可能なホワイトボックス基礎モデルを設計するための道筋が示唆された。
論文 参考訳（メタデータ） (2023-08-30T19:02:17Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳（メタデータ） (2023-08-23T18:53:00Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳（メタデータ） (2022-04-05T09:25:28Z) - SeqTR: A Simple yet Universal Network for Visual Grounding [88.03253818868204]
本稿では,視覚的接地作業のためのシンプルな汎用ネットワークSeqTRを提案する。
画像とテキストの入力を条件とした点予測問題として,視覚的グラウンドリングを行った。
このパラダイムの下では、視覚的なグラウンドタスクはタスク固有のブランチやヘッドなしでSeqTRネットワークに統合されます。
論文 参考訳（メタデータ） (2022-03-30T12:52:46Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Mapping the Internet: Modelling Entity Interactions in Complex
Heterogeneous Networks [0.0]
サンプル表現、モデル定義、トレーニングのための汎用性のある統一フレームワークHMill'を提案します。
フレームワークに実装されたモデルによって実現されたすべての関数の集合に対する普遍近似定理の拡張を示す。
このフレームワークを使ってサイバーセキュリティドメインから3つの異なる問題を解決する。
論文 参考訳（メタデータ） (2021-04-19T21:32:44Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - End-to-End Object Detection with Transformers [88.06357745922716]
本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。
我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。
この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
論文 参考訳（メタデータ） (2020-05-26T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。