論文の概要: Atomized Deep Learning Models

• arxiv url: http://arxiv.org/abs/2210.03728v1
• Date: Fri, 7 Oct 2022 17:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 12:41:59.185249
• Title: Atomized Deep Learning Models
• Title（参考訳）: 微粒化ディープラーニングモデル
• Authors: Yi-Lin Tuan, Zih-Yun Chiu, William Yang Wang
• Abstract要約: より離散化されたサンプル間構造を明示的にモデル化することは、モデルの表現力を高める可能性があることを示す。 本稿では,データポイントと原子間の類似を描画することにより,連続的な潜伏空間を識別できる新しい手法Atom Modelingを提案する。
• 参考スコア（独自算出の注目度）: 80.01881243652281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models often tackle the intra-sample structure, such as the order of words in a sentence and pixels in an image, but have not pay much attention to the inter-sample relationship. In this paper, we show that explicitly modeling the inter-sample structure to be more discretized can potentially help model's expressivity. We propose a novel method, Atom Modeling, that can discretize a continuous latent space by drawing an analogy between a data point and an atom, which is naturally spaced away from other atoms with distances depending on their intra structures. Specifically, we model each data point as an atom composed of electrons, protons, and neutrons and minimize the potential energy caused by the interatomic force among data points. Through experiments with qualitative analysis in our proposed Atom Modeling on synthetic and real datasets, we find that Atom Modeling can improve the performance by maintaining the inter-sample relation and can capture an interpretable intra-sample relation by mapping each component in a data point to electron/proton/neutron.
• Abstract（参考訳）: 深層学習モデルは、文中の単語の順序や画像中のピクセルなどのサンプル内構造に取り組むことが多いが、サンプル間の関係にはあまり注意を払わない。 本稿では,サンプル間構造をより離散化するために明示的にモデル化することで,モデルの表現性を高めることができることを示す。 本研究では,データ点と原子間の類似性を引き出すことによって連続潜時空間を離散化できる新しい手法Atom Modelingを提案する。 具体的には、各データポイントを電子、陽子、中性子からなる原子としてモデル化し、データポイント間の原子間力によるポテンシャルエネルギーを最小化する。 提案する合成データと実データを用いた原子モデリングにおける定性解析による実験により、原子モデリングはサンプル間関係を維持して性能を向上させることができ、各成分を電子/陽子/ニュートロンにマッピングすることで、解釈可能なサンプル間関係をキャプチャできることがわかった。

関連論文リスト

• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Multimodal hierarchical Variational AutoEncoders with Factor Analysis latent space [45.418113011182186]
  本研究では,変分オートエンコーダ(VAE)と因子解析潜時空間(FA-VAE)を組み合わせることで,制約に対処する新しい手法を提案する。 FA-VAE法は複数のVAEを用いて連続潜伏空間における各異種データビューのプライベート表現を学習する。
  論文  参考訳（メタデータ） (2022-07-19T10:46:02Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors [14.337297795182181]
  ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。 本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。 本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
  論文  参考訳（メタデータ） (2021-06-26T02:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。