論文の概要: Propensity Score Alignment of Unpaired Multimodal Data

• arxiv url: http://arxiv.org/abs/2404.01595v1
• Date: Tue, 2 Apr 2024 02:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 18:08:16.158627
• Title: Propensity Score Alignment of Unpaired Multimodal Data
• Title（参考訳）: 重み付きマルチモーダルデータの重み付きスコアアライメント
• Authors: Johnny Xi, Jason Hartford,
• Abstract要約: マルチモーダル表現学習技術は通常、共通の表現を学ぶためにペア化されたサンプルに依存する。 本稿では,マルチモーダル表現学習において,異なるモダリティにまたがるアンペア化サンプルの整列化という課題に対処するアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal representation learning techniques typically rely on paired samples to learn common representations, but paired samples are challenging to collect in fields such as biology where measurement devices often destroy the samples. This paper presents an approach to address the challenge of aligning unpaired samples across disparate modalities in multimodal representation learning. We draw an analogy between potential outcomes in causal inference and potential views in multimodal observations, which allows us to use Rubin's framework to estimate a common space in which to match samples. Our approach assumes we collect samples that are experimentally perturbed by treatments, and uses this to estimate a propensity score from each modality, which encapsulates all shared information between a latent state and treatment and can be used to define a distance between samples. We experiment with two alignment techniques that leverage this distance -- shared nearest neighbours (SNN) and optimal transport (OT) matching -- and find that OT matching results in significant improvements over state-of-the-art alignment approaches in both a synthetic multi-modal setting and in real-world data from NeurIPS Multimodal Single-Cell Integration Challenge.
• Abstract（参考訳）: マルチモーダル表現学習技術は通常、共通の表現を学ぶためにペア化されたサンプルに頼っているが、測定装置がしばしばサンプルを破壊する生物学のような分野において、ペア化されたサンプルを収集することは困難である。 本稿では,マルチモーダル表現学習において,異なるモダリティにまたがるアンペア化サンプルの整列化という課題に対処するアプローチを提案する。 因果推論における潜在的な結果とマルチモーダル観測における潜在的見解との間には類似性があり、ルービンのフレームワークを使ってサンプルにマッチする共通空間を推定することができる。 提案手法では, 処理によって実験的に摂動するサンプルを収集し, この手法を用いて各モードから正当性スコアを推定し, 潜伏状態と治療の間の共有情報を全てカプセル化し, 試料間の距離を定義する。 我々は、この距離を利用する2つのアライメント技術(共有近傍(SNN)と最適輸送(OT)マッチング)を実験し、OTマッチングが、合成マルチモーダル設定とNeurIPSマルチモーダルシングルセル統合チャレンジによる実世界のデータの両方において、最先端アライメントアプローチを大幅に改善することを発見した。

関連論文リスト

• Gentle-CLIP: Exploring Aligned Semantic In Low-Quality Multimodal Data With Soft Alignment [38.38565939595014]
  マルチモーダル融合は様々なモダリティの間の障壁を突破し、すでに多くの印象的なパフォーマンスを生み出している。 様々な専門分野において、トレーニングプロセスに十分なアライメントデータを得るのに苦労している。 我々は,半教師付きマルチモーダルアライメントを多様体マッチング問題に変換し,Gentle-CLIPというCLIPに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-09T12:41:14Z)
• Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning [20.491176017183044]
  本稿では多目的強化学習(MORL)問題に取り組む。 MOACと呼ばれる革新的なアクター批判アルゴリズムを導入し、競合する報酬信号間のトレードオフを反復的に行うことでポリシーを見出す。
  論文  参考訳（メタデータ） (2024-05-05T23:52:57Z)
• Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
  自然画像の生成的サンプリングにおける顕著な成果の上に構築する。 我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。 統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
  論文  参考訳（メタデータ） (2024-04-10T22:35:06Z)
• Enhancing multimodal cooperation via sample-level modality valuation [10.677997431505815]
  そこで本研究では,各サンプルに対するモダリティの寄与を評価するために,サンプルレベルのモダリティ評価指標を提案する。 モダリティ評価によって、モダリティの相違は、データセットレベルでのグローバルな貢献相違を超えて、実際にサンプルレベルで異なる可能性があることが分かる。 本手法は, 微細なユニモーダル・コントリビューションを合理的に観察し, 大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-09-12T14:16:34Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score [62.54911162109439]
  逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。 本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。 EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
  論文  参考訳（メタデータ） (2023-05-25T13:14:58Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Deep Incomplete Multi-view Clustering with Cross-view Partial Sample and Prototype Alignment [50.82982601256481]
  深層不完全なマルチビュークラスタリングのためのクロスビュー部分サンプルとプロトタイプアライメントネットワーク(CPSPAN)を提案する。 従来のコントラストベースの手法とは異なり、インスタンスとインスタンスの対応構築を導くために、ペア観測データアライメントを「プロキシ監視信号」として採用する。
  論文  参考訳（メタデータ） (2023-03-28T02:31:57Z)
• Double-matched matrix decomposition for multi-view data [0.6091702876917281]
  一致したサンプルから異なるソースから収集されたデータである多視点データから,関節信号と個別信号の抽出の問題を考える。 提案する二重整合行列分解は, 被験者間の結合信号と個別信号の同時抽出を可能にする。 本手法をイングランド・プレミアリーグのサッカーの試合のデータに適用し、ドメイン固有の知識に合わせた共同および個別のマルチビュー信号を見つける。
  論文  参考訳（メタデータ） (2021-05-07T17:09:57Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Hierarchical Optimal Transport for Robust Multi-View Learning [97.21355697826345]
  2つの仮定は実際には疑わしいが、これは多視点学習の適用を制限する。 本稿では,これら2つの仮定への依存性を軽減するために,階層的最適輸送法を提案する。 HOT法は教師なし学習と半教師付き学習の両方に適用でき、実験結果から、合成タスクと実世界のタスクの両方で堅牢に動作することが示された。
  論文  参考訳（メタデータ） (2020-06-04T22:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。