論文の概要: Representing Data as Atoms: Unifying Intra- and Inter-Sample Relationship to Discretize Data Representation

• arxiv url: http://arxiv.org/abs/2210.03728v2
• Date: Sun, 3 Dec 2023 19:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 02:03:03.911752
• Title: Representing Data as Atoms: Unifying Intra- and Inter-Sample Relationship to Discretize Data Representation
• Title（参考訳）: データをAtomとして表現する:データ表現を識別するためのサンプル内およびサンプル間関係の統合
• Authors: Yi-Lin Tuan, Zih-Yun Chiu, William Yang Wang
• Abstract要約: サンプル内構造とサンプル間関係の両方を考慮した新たなトレーニング損失を導入し,データポイントを表現するために原子の概念を活用する。 Atom Modelingは、視覚や言語を含むさまざまな領域にわたる分類と生成を含むタスクにおいて、既存のモデルのパフォーマンスを向上させることを実証します。
• 参考スコア（独自算出の注目度）: 67.62190501599176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quality of data representation is paramount for the performance of a model. Recent research has focused on enhancing representation learning by incorporating more information about the intra-sample structures of individual data points, such as local and global attention. Additionally, researchers have explored methods to model the inter-sample relationships, including manifold, contrastive, and discrete representation learning. In this study, we introduce a new training loss, which considers both intra-sample structure and inter-sample relationships, leveraging the concept of {\it atoms} to represent data points. This new approach, {\it Atom Modeling}, offers a fresh perspective to discretize data representations within a continuous space. Through experiments, we demonstrate that Atom Modeling enhances the performance of existing models in tasks involving classification and generation, across diverse domains including vision and language. These findings underscore the potential of Atom Modeling to enhance data representation and improve model learning, suggesting a promising direction for future research.
• Abstract（参考訳）: データ表現の質は、モデルの性能にとって最重要である。 近年の研究では,個々のデータポイントのサンプル内構造,例えば局所的およびグローバル的注意の情報を取り入れることで,表現学習の強化に重点を置いている。 さらに研究者は、多様体、対比的、離散的表現学習を含むサンプル間関係をモデル化する方法を探求している。 本研究では, サンプル内構造とサンプル間関係の両方を考慮し, データポイントを表現するために, {\it 原子の概念を活用する新たなトレーニング損失を導入する。 この新しいアプローチである {\it atom modeling} は、連続空間内のデータ表現を識別するための新しい視点を提供する。 実験を通じて、atomモデリングは、ビジョンや言語を含む様々な領域にわたって、分類や生成に関わるタスクにおける既存のモデルのパフォーマンスを高めることを実証する。 これらの知見は、データ表現を強化し、モデル学習を改善するAtom Modelingの可能性を強調し、将来の研究の有望な方向性を示唆している。

関連論文リスト

• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Multimodal hierarchical Variational AutoEncoders with Factor Analysis latent space [45.418113011182186]
  本研究では,変分オートエンコーダ(VAE)と因子解析潜時空間(FA-VAE)を組み合わせることで,制約に対処する新しい手法を提案する。 FA-VAE法は複数のVAEを用いて連続潜伏空間における各異種データビューのプライベート表現を学習する。
  論文  参考訳（メタデータ） (2022-07-19T10:46:02Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors [14.337297795182181]
  ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。 本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。 本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
  論文  参考訳（メタデータ） (2021-06-26T02:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。