論文の概要: Knowledge Base Index Compression via Dimensionality and Precision Reduction

• arxiv url: http://arxiv.org/abs/2204.02906v1
• Date: Wed, 6 Apr 2022 15:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 17:36:50.166790
• Title: Knowledge Base Index Compression via Dimensionality and Precision Reduction
• Title（参考訳）: 次元と精度の低減による知識ベースインデックス圧縮
• Authors: Vil\'em Zouhar, Marius Mosbach, Miaoran Zhang, Dietrich Klakow
• Abstract要約: Retrievalは通常、大きなテキスト知識ベース(KB)上で実行され、かなりのメモリと計算資源を必要とする。 ホットポットQAでは,次元差(スパースランダムプロジェクション,PCA,オートエンコーダ)と数値精度の低減によるKB指数の縮小を検討した。 その結果,PCAは非常に少ないデータを必要とする簡単なソリューションであり,安定性の低いオートエンコーダよりもわずかに悪いことがわかった。
• 参考スコア（独自算出の注目度）: 18.11187922082096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently neural network based approaches to knowledge-intensive NLP tasks, such as question answering, started to rely heavily on the combination of neural retrievers and readers. Retrieval is typically performed over a large textual knowledge base (KB) which requires significant memory and compute resources, especially when scaled up. On HotpotQA we systematically investigate reducing the size of the KB index by means of dimensionality (sparse random projections, PCA, autoencoders) and numerical precision reduction. Our results show that PCA is an easy solution that requires very little data and is only slightly worse than autoencoders, which are less stable. All methods are sensitive to pre- and post-processing and data should always be centered and normalized both before and after dimension reduction. Finally, we show that it is possible to combine PCA with using 1bit per dimension. Overall we achieve (1) 100$\times$ compression with 75%, and (2) 24$\times$ compression with 92% original retrieval performance.
• Abstract（参考訳）: 近年,質問応答などの知識集約型NLPタスクに対するニューラルネットワークに基づくアプローチは,ニューラルレトリバーと読者の組み合わせに大きく依存するようになった。 検索は通常、大きなテキスト知識ベース(kb)上で行われ、大きなメモリと計算リソースを必要とする。 HotpotQAでは,次元差(乱射影,PCA,オートエンコーダ)と数値精度の低減によるKB指数の縮小を系統的に検討した。 以上の結果から,PCAは極めて少ないデータを必要とする簡単なソリューションであり,安定性の低いオートエンコーダよりもわずかに劣ることがわかった。 すべてのメソッドは前処理と後処理に敏感であり、データは次元の縮小前後で常に中心的かつ正規化されなければならない。 最後に,PCAを1次元あたり1ビットで組み合わせることが可能であることを示す。 全体としては, (1) 100$\times$ 圧縮が75%, (2) 24$\times$ 圧縮が92%のオリジナル検索性能で達成される。

関連論文リスト

• Data Compression using Rank-1 Lattices for Parameter Estimation in Machine Learning [0.0]
  平均二乗誤差と正規化バージョンは、教師付き機械学習における標準的な損失関数である。 広範データセットをランク1格子を用いてより小さなサイズに縮小するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-20T12:35:24Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Learning-Augmented K-Means Clustering Using Dimensional Reduction [1.7243216387069678]
  主成分分析(PCA)を用いたデータセットの次元性低減手法を提案する。 PCAは文献でよく確立されており、データモデリング、圧縮、可視化の最も有用なツールの1つになっている。
  論文  参考訳（メタデータ） (2024-01-06T12:02:33Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Empirical comparison between autoencoders and traditional dimensionality reduction methods [1.9290392443571387]
  Isomap, ディープオートエンコーダ, 可変オートエンコーダと比較し, PCAの性能を評価した。 実験の結果、k-NNはPCAで同等の精度を達成し、両方のオートエンコーダの投影で十分な寸法が得られた。
  論文  参考訳（メタデータ） (2021-03-08T16:26:43Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。