論文の概要: Quantification using Permutation-Invariant Networks based on Histograms

• arxiv url: http://arxiv.org/abs/2403.15123v1
• Date: Fri, 22 Mar 2024 11:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 17:48:36.006052
• Title: Quantification using Permutation-Invariant Networks based on Histograms
• Title（参考訳）: ヒストグラムに基づく置換不変ネットワークの定量化
• Authors: Olaya Pérez-Mon, Alejandro Moreo, Juan José del Coz, Pablo González,
• Abstract要約: 量子化とは、モデルが与えられたサンプルの袋の中で各クラスの有病率を予測するために訓練される教師付き学習タスクである。 本稿では、対称的教師あり手法の適用が可能なシナリオにおいて、量子化タスクへのディープニューラルネットワークの適用について検討する。 ヒストグラムに基づく置換不変表現に依存する新しいニューラルアーキテクチャHistNetQを提案する。
• 参考スコア（独自算出の注目度）: 47.47360392729245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantification, also known as class prevalence estimation, is the supervised learning task in which a model is trained to predict the prevalence of each class in a given bag of examples. This paper investigates the application of deep neural networks to tasks of quantification in scenarios where it is possible to apply a symmetric supervised approach that eliminates the need for classification as an intermediary step, directly addressing the quantification problem. Additionally, it discusses existing permutation-invariant layers designed for set processing and assesses their suitability for quantification. In light of our analysis, we propose HistNetQ, a novel neural architecture that relies on a permutation-invariant representation based on histograms that is specially suited for quantification problems. Our experiments carried out in the only quantification competition held to date, show that HistNetQ outperforms other deep neural architectures devised for set processing, as well as the state-of-the-art quantification methods. Furthermore, HistNetQ offers two significant advantages over traditional quantification methods: i) it does not require the labels of the training examples but only the prevalence values of a collection of training bags, making it applicable to new scenarios; and ii) it is able to optimize any custom quantification-oriented loss function.
• Abstract（参考訳）: 量子化 (quantification) またはクラス有病率推定 (class prevalence estimation) は、モデルが与えられたサンプルの袋の中で各クラスの有病率を予測するために訓練される教師付き学習タスクである。 本稿では、中間段階として分類する必要をなくし、量子化問題に直接対処する対称教師ありアプローチを適用可能なシナリオにおいて、量子化タスクへのディープニューラルネットワークの適用について検討する。 さらに、設定処理用に設計された既存の置換不変層について論じ、定量化の適性を評価する。 本稿では, 量子化問題に特に適しているヒストグラムに基づく置換不変表現に依存した新しいニューラルアーキテクチャHistNetQを提案する。 これまでに開催された唯一の定量化コンペで実施した実験により、HistNetQは、セット処理のために考案された他のディープニューラルネットワークアーキテクチャ、および最先端の定量化手法よりも優れていることが示された。 さらにHistNetQは、従来の定量化方法よりも2つの大きな利点を提供している。 一 訓練例のラベルを必要とせず、訓練袋のコレクションの有病率のみを必要とせず、新規のシナリオに適用すること。 二 カスタム量子化指向損失関数を最適化することができること。

関連論文リスト

• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• A simple approach for quantizing neural networks [7.056222499095849]
  完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。 単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。 提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
  論文  参考訳（メタデータ） (2022-09-07T22:36:56Z)
• Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
  本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。 既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。 1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
  論文  参考訳（メタデータ） (2022-07-13T08:52:13Z)
• Training Quantised Neural Networks with STE Variants: the Additive Noise Annealing Algorithm [16.340620299847384]
  量子化されたニューラルネットワーク(QNN)のトレーニングは、重みと特徴が断片的な定数関数によって出力されるため、微分不可能な問題である。 標準的な解決策は、推論と計算のステップで異なる関数を使用するストレートスルー推定器(STE)を適用することである。 トレーニングネットワークのタスク精度を最大化することを目的とした、いくつかのSTE変種が文献で提案されている。
  論文  参考訳（メタデータ） (2022-03-21T20:14:27Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。