論文の概要: Lossy Compression of Large-Scale Radio Interferometric Data
- arxiv url: http://arxiv.org/abs/2304.07050v1
- Date: Fri, 14 Apr 2023 10:50:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 13:56:25.580581
- Title: Lossy Compression of Large-Scale Radio Interferometric Data
- Title（参考訳）: 大規模電波干渉データの損失圧縮
- Authors: M Atemkeng, S Perkins, E Seck, S Makhathini, O Smirnov, L Bester, B
Hugo
- Abstract要約: 本研究は,ベースライン依存型損失圧縮技術を用いて,可視データ量を削減することを提案する。
MeerKAT と European Very Long Baseline Interferometry Network を基準望遠鏡として,提案手法の性能評価・比較を行っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work proposes to reduce visibility data volume using a
baseline-dependent lossy compression technique that preserves smearing at the
edges of the field-of-view. We exploit the relation of the rank of a matrix and
the fact that a low-rank approximation can describe the raw visibility data as
a sum of basic components where each basic component corresponds to a specific
Fourier component of the sky distribution. As such, the entire visibility data
is represented as a collection of data matrices from baselines, instead of a
single tensor. The proposed methods are formulated as follows: provided a large
dataset of the entire visibility data; the first algorithm, named $simple~SVD$
projects the data into a regular sampling space of rank$-r$ data matrices. In
this space, the data for all the baselines has the same rank, which makes the
compression factor equal across all baselines. The second algorithm, named
$BDSVD$ projects the data into an irregular sampling space of rank$-r_{pq}$
data matrices. The subscript $pq$ indicates that the rank of the data matrix
varies across baselines $pq$, which makes the compression factor
baseline-dependent. MeerKAT and the European Very Long Baseline Interferometry
Network are used as reference telescopes to evaluate and compare the
performance of the proposed methods against traditional methods, such as
traditional averaging and baseline-dependent averaging (BDA). For the same
spatial resolution threshold, both $simple~SVD$ and $BDSVD$ show effective
compression by two-orders of magnitude higher than traditional averaging and
BDA. At the same space-saving rate, there is no decrease in spatial resolution
and there is a reduction in the noise variance in the data which improves the
S/N to over $1.5$ dB at the edges of the field-of-view.
- Abstract（参考訳）: 本研究は,視野の端面にスミアリングを保持するベースライン依存型損失圧縮技術を用いて,可視データ量を削減することを提案する。
我々は,行列の階数と低ランク近似が,各基本成分が天空分布の特定のフーリエ成分に対応する基本成分の和として生の可視データを記述できるという事実を生かした。
このように、可視性データは単一のテンソルではなく、ベースラインからのデータ行列の集合として表現される。
提案手法は,全可視性データの大規模なデータセットを提供する。最初のアルゴリズムである$simple~SVD$は,データをランク$-r$のデータ行列の正規サンプリング空間に投影する。
この空間では、すべてのベースラインのデータは同じランクであり、すべてのベースラインで圧縮係数が等しくなる。
2番目のアルゴリズムである$BDSVD$は、データをランク$-r_{pq}$データ行列の不規則サンプリング空間に投影する。
サブスクリプト$pq$は、データマトリックスのランクがベースライン$pq$によって異なり、圧縮係数がベースラインに依存していることを示している。
MeerKAT と European Very Long Baseline Interferometry Network は、従来の平均化やベースライン依存平均化(BDA)といった従来の手法に対して提案手法の性能を評価し比較するために参照望遠鏡として使用される。
同じ空間分解能閾値に対して、$simple~SVD$と$BDSVD$は、従来の平均値やBDAよりも2桁高い効率の圧縮を示す。
同じ空間保存率では、空間分解能の低下はなく、S/Nを視野の端で1.5ドルdB以上に改善するデータのノイズ分散が減少する。
関連論文リスト
- Turnstile $\ell_p$ leverage score sampling with applications [56.403488578703865]
我々は,行列$AinmathbbRntimes d$の行をサンプリングする新しいアルゴリズムを開発した。
我々のアルゴリズムはサンプル行インデックスのセットを返すだけでなく、わずかに乱れた行を $tildea_i approx a_i$ で返却し、サンプリング確率を $varepsilon$ の相対誤差に近似する。
ロジスティック回帰のために、我々のフレームワークは$を達成した最初のアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-06-01T07:33:41Z) - Joint Projection Learning and Tensor Decomposition Based Incomplete
Multi-view Clustering [21.925066554821168]
不完全なマルチビュークラスタリングのための新しい統合投影分解法(JPLTD)を提案する。
JPLTDは高次元データにおける冗長な特徴やノイズの影響を軽減する。
いくつかのベンチマークデータセットの実験では、JPLTDが最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2023-10-06T06:19:16Z) - Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳（メタデータ） (2023-05-12T03:01:41Z) - Dataset Distillation via Factorization [58.8114016318593]
既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。
emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。
提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
論文 参考訳（メタデータ） (2022-10-30T08:36:19Z) - Covariance matrix preparation for quantum principal component analysis [0.8258451067861933]
主成分分析 (PCA) はデータ解析における次元還元法である。
密度行列の対角化に基づくPCAの量子アルゴリズムが定式化されている。
本手法は分子基底状態データセットに対して数値的に実装する。
論文 参考訳（メタデータ） (2022-04-07T15:11:42Z) - Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。
変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。
WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文 参考訳（メタデータ） (2022-03-02T15:36:44Z) - Leverage Score Sampling for Tensor Product Matrices in Input Sparsity
Time [54.65688986250061]
我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。
我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
論文 参考訳（メタデータ） (2022-02-09T15:26:03Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Learning a Deep Part-based Representation by Preserving Data
Distribution [21.13421736154956]
教師なし次元減少は、高次元データ認識問題において一般的に用いられる技法の1つである。
本稿では,データ分布を保存することにより,深部部分に基づく表現を学習し,新しいアルゴリズムを分散保存ネットワーク埋め込みと呼ぶ。
実世界のデータセットにおける実験結果から,提案アルゴリズムはクラスタ精度とAMIの点で優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-17T12:49:36Z) - A New Basis for Sparse Principal Component Analysis [5.258928416164104]
以前のスパース主成分分析では、固有基底 ($p 倍 k$ 行列) がほぼスパースであると仮定されていた。
我々は、$p × k$ 行列が、$k × k$ 回転の後にほぼスパースとなると仮定する手法を提案する。
同レベルの疎度では,提案したスパースPCA法の方が安定であり,代替手法よりも分散を説明できることを示す。
論文 参考訳（メタデータ） (2020-07-01T16:32:22Z) - Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。
本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
論文 参考訳（メタデータ） (2020-05-22T17:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。