論文の概要: Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax

• arxiv url: http://arxiv.org/abs/2410.06993v1
• Date: Wed, 9 Oct 2024 15:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 23:07:19.426304
• Title: Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax
• Title（参考訳）: ノイズ注入型ディープインフォマックスによる表現の効率的な分布マッチング
• Authors: Ivan Butakov, Alexander Sememenko, Alexander Tolmachev, Andrey Gladkov, Marina Munkhoeva, Alexey Frolov,
• Abstract要約: 我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
• 参考スコア（独自算出の注目度）: 73.03684002513218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep InfoMax (DIM) is a well-established method for self-supervised representation learning (SSRL) based on maximization of the mutual information between the input and the output of a deep neural network encoder. Despite the DIM and contrastive SSRL in general being well-explored, the task of learning representations conforming to a specific distribution (i.e., distribution matching, DM) is still under-addressed. Motivated by the importance of DM to several downstream tasks (including generative modeling, disentanglement, outliers detection and other), we enhance DIM to enable automatic matching of learned representations to a selected prior distribution. To achieve this, we propose injecting an independent noise into the normalized outputs of the encoder, while keeping the same InfoMax training objective. We show that such modification allows for learning uniformly and normally distributed representations, as well as representations of other absolutely continuous distributions. Our approach is tested on various downstream tasks. The results indicate a moderate trade-off between the performance on the downstream tasks and quality of DM.
• Abstract（参考訳）: Deep InfoMax (DIM) は、ディープニューラルネットワークエンコーダの入力と出力の相互情報の最大化に基づく自己教師付き表現学習(SSRL)の確立された方法である。 DIMと対照的なSSRLは一般によく研究されているが、特定の分布(つまり分布マッチング、DM)に対応する表現を学習するタスクは、まだ未熟である。 複数の下流タスク(生成的モデリング、乱れ、外乱検出など)に対するDMの重要性から、DIMを強化し、学習した表現を予め選択した分布に自動マッチングできるようにする。 これを実現するために、同じInfoMaxトレーニング目標を維持しつつ、エンコーダの正規化出力に独立ノイズを注入することを提案する。 このような修正は、他の絶対連続分布の表現と同様に、一様かつ通常に分散された表現を学習することができることを示す。 私たちのアプローチは、さまざまな下流タスクでテストされています。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。

関連論文リスト

• Disentangling Disentangled Representations: Towards Improved Latent Units via Diffusion Models [3.1923251959845214]
  Disentangled Expression Learning (DRL) は、観測されたデータをコア固有の要素に分解して、データの深い理解を目指している。 近年,教師なしDRLにおける拡散モデル(DM)の利用について,限定的な調査が行われている。 より解釈可能なDRLに対して属性分離型潜在ユニットを強制する動的ガウスアンチョリングを提案する。 また、よりDRLフレンドリーなU-Netを容易に修正できるスキップドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T11:05:09Z)
• Robust Multimodal Learning via Representation Decoupling [6.7678581401558295]
  マルチモーダル学習はその実用性から注目を集めている。 既存の手法は、異なるモダリティの組み合わせに対して共通の部分空間表現を学習することで、この問題に対処する傾向がある。 本稿では,頑健なマルチモーダル学習を支援するために,DMRNet(Decoupled Multimodal Representation Network)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T12:09:33Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Balancing Act: Distribution-Guided Debiasing in Diffusion Models [31.38505986239798]
  拡散モデル(DM)は、前例のない画像生成能力を持つ強力な生成モデルとして登場した。 DMはトレーニングデータセットに存在するバイアスを反映します。 本稿では、追加データやモデル再学習に頼ることなく、DMをデバイアスする手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T09:53:17Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• From Points to Functions: Infinite-dimensional Representations in Diffusion Models [23.916417852496608]
  拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。 異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
  論文  参考訳（メタデータ） (2022-10-25T05:30:53Z)
• f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation [56.04628143914542]
  拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。 本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。 我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
  論文  参考訳（メタデータ） (2022-10-10T18:49:25Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Input-Output Balanced Framework for Long-tailed LiDAR Semantic Segmentation [12.639524717464509]
  本稿では,ロングテール分布の問題を扱うための入出力バランスフレームワークを提案する。 入力空間に対して、メッシュモデルからこれらのテールインスタンスを合成し、LiDARスキャンの位置と密度分布をうまくシミュレートする。 出力空間に対して, 形状と実例量に基づいて, 異なるカテゴリをグループ化するマルチヘッドブロックを提案する。
  論文  参考訳（メタデータ） (2021-03-26T05:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。