論文の概要: Learning on Bandwidth Constrained Multi-Source Data with MIMO-inspired
DPP MAP Inference
- arxiv url: http://arxiv.org/abs/2306.02497v2
- Date: Sat, 18 Nov 2023 04:59:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 19:09:17.714782
- Title: Learning on Bandwidth Constrained Multi-Source Data with MIMO-inspired
DPP MAP Inference
- Title(参考訳): MIMOにインスパイアされたDPPMAP推論を用いた帯域制約付きマルチソースデータの学習
- Authors: Xiwen Chen, Huayu Li, Rahul Amin, Abolfazl Razi
- Abstract要約: 分散ソース間でMAP推論を行うための戦略を提案する。
多様性を最大化する分散サンプル選択問題の下位境界を電力配分問題として扱うことができることを示す。
本手法は,情報源間の生データ交換を必要とせず,軽量な多様性測定を行うための帯域制限フィードバックチャネルである。
- 参考スコア(独自算出の注目度): 0.5675520944829118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a distributed version of Determinant Point Processing
(DPP) inference to enhance multi-source data diversification under limited
communication bandwidth. DPP is a popular probabilistic approach that improves
data diversity by enforcing the repulsion of elements in the selected subsets.
The well-studied Maximum A Posteriori (MAP) inference in DPP aims to identify
the subset with the highest diversity quantified by DPP. However, this approach
is limited by the presumption that all data samples are available at one point,
which hinders its applicability to real-world applications such as traffic
datasets where data samples are distributed across sources and communication
between them is band-limited.
Inspired by the techniques used in Multiple-Input Multiple-Output (MIMO)
communication systems, we propose a strategy for performing MAP inference among
distributed sources. Specifically, we show that a lower bound of the
diversity-maximized distributed sample selection problem can be treated as a
power allocation problem in MIMO systems. A determinant-preserved sparse
representation of selected samples is used to perform sample precoding in local
sources to be processed by DPP. Our method does not require raw data exchange
among sources, but rather a band-limited feedback channel to send lightweight
diversity measures, analogous to the CSI message in MIMO systems, from the
center to data sources. The experiments show that our scalable approach can
outperform baseline methods, including random selection, uninformed individual
DPP with no feedback, and DPP with SVD-based feedback, in both i.i.d and
non-i.i.d setups. Specifically, it achieves 1 to 6 log-difference diversity
gain in the latent representation of CIFAR-10, CIFAR-100, StanfordCars, and
GTSRB datasets.
- Abstract(参考訳): 本稿では,通信帯域に制限のあるマルチソースデータ分散化を実現するために,DPP推論の分散バージョンを提案する。
DPPは、選択されたサブセット内の要素の反発を強制することで、データの多様性を改善する一般的な確率論的アプローチである。
DPPにおけるMAP(Maximum A Posteriori)推論は、DPPによって定量化された最も多様性の高いサブセットを特定することを目的としている。
しかし、このアプローチは、すべてのデータサンプルが1つの時点で利用可能であるという仮定で制限されており、データサンプルがソース間で分散され、それらの間の通信が帯域制限されているトラフィックデータセットのような現実世界のアプリケーションへの適用を妨げている。
マルチ入力多重出力(MIMO)通信システムで使用される技術に着想を得て,分散ソース間でMAP推論を行う手法を提案する。
特に,多様性を最大化する分散サンプル選択問題の下位境界をMIMOシステムにおける電力配分問題として扱うことができることを示す。
選択されたサンプルの行列保存スパース表現を用いて、DPPによって処理されるローカルソースでサンプルプリコーディングを行う。
本手法はソース間の生のデータ交換を必要とせず,mimoシステムにおけるcsiメッセージに類似した,軽量な多様性測定を行うための帯域制限型フィードバックチャネルである。
実験により,本手法は,ランダム選択,無フィードバックで個々のdpp,非i.i.d設定でsvdベースのフィードバックを用いたdppなど,ベースライン手法よりも優れることが示された。
具体的には、CIFAR-10、CIFAR-100、StanfordCars、GTSRBデータセットの潜在表現において、1対6のログ差の多様性向上を達成する。
関連論文リスト
- Enhancing Information Maximization with Distance-Aware Contrastive
Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。
データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。
本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-03-04T12:10:24Z) - Understanding normalization in contrastive representation learning and
out-of-distribution detection [0.0]
コントラッシブ・ラーニングに基づく簡易な手法を提案し, コントラッシブ・ラーニング空間における正規サンプルを識別することにより, 分布外データを含む手法を提案する。
われわれのアプローチは、OE(outlier exposure)アプローチや、完全に自己教師付き学習アプローチとして柔軟に適用できる。
対照的な学習を通じて学んだ高品質な機能は、利用可能なアウト・オブ・ディストリビューションデータセットが十分な多様性を持っていない場合でも、OEシナリオのパフォーマンスを一貫して向上させる。
論文 参考訳(メタデータ) (2023-12-23T16:05:47Z) - Score-based Source Separation with Applications to Digital Communication
Signals [72.6570125649502]
拡散モデルを用いた重畳音源の分離手法を提案する。
高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。
提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
論文 参考訳(メタデータ) (2023-06-26T04:12:40Z) - RD-DPP: Rate-Distortion Theory Meets Determinantal Point Process to
Diversify Learning Data Samples [0.5675520944829118]
交通映像解析などの実践的な学習タスクでは、利用可能なトレーニングサンプルの数は異なる要因によって制限される。
本稿では,Rate-Distortion(RD)理論に基づくタスク指向の多様性測定手法を提案する。
論文 参考訳(メタデータ) (2023-04-09T02:22:31Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-09T18:59:48Z) - MIX-MAB: Reinforcement Learning-based Resource Allocation Algorithm for
LoRaWAN [6.22984202194369]
本稿では,パケット配信率(PDR)の観点から資源配分アルゴリズムの改善に焦点をあてる。
そこで本稿では,EDが送信パラメータを分散的に設定できる資源割当アルゴリズムを提案する。
数値計算の結果,提案手法は収束時間やPDRの点で既存の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-06-07T15:50:05Z) - FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to
System Heterogeneity [4.2059108111562935]
Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。
本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。
我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2022-04-07T15:58:33Z) - Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。
DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。
擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-06-30T03:17:20Z) - Wasserstein Learning of Determinantal Point Processes [14.790452282691252]
本稿では,観測された部分集合からなるモデルとデータ間のワッサーシュタイン距離を最小化する新しいDPP学習手法を提案する。
MLEを用いて学習したDPPと比較して,我々のWasserstein学習アプローチは,生成タスクにおける予測性能を著しく向上させることを示した。
論文 参考訳(メタデータ) (2020-11-19T08:30:57Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳(メタデータ) (2020-11-10T09:53:20Z) - Mutual Learning Network for Multi-Source Domain Adaptation [73.25974539191553]
ML-MSDA(Multial Learning Network for Multiple Source Domain Adaptation)を提案する。
相互学習の枠組みのもと,提案手法は対象ドメインと各ソースドメインをペアリングし,条件付き対向ドメイン適応ネットワークを分岐ネットワークとして訓練する。
提案手法は, 比較手法より優れ, 最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-03-29T04:31:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。