論文の概要: Bayesian Attention Networks for Data Compression

• arxiv url: http://arxiv.org/abs/2103.15319v1
• Date: Mon, 29 Mar 2021 04:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:23:33.330144
• Title: Bayesian Attention Networks for Data Compression
• Title（参考訳）: データ圧縮のためのベイズ注意ネットワーク
• Authors: Michael Tetelman
• Abstract要約: Bayesian Attention Networksは、トレーニングサンプル損失毎に注意因子を導入することで定義される。 注意因子は2つのサンプルの相関関数によって完全に定義されることを示す。 予測毎の特定のソリューションを見つける サンプルはトレーニングと予測を結合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The lossless data compression algorithm based on Bayesian Attention Networks is derived from first principles. Bayesian Attention Networks are defined by introducing an attention factor per a training sample loss as a function of two sample inputs, from training sample and prediction sample. By using a sharpened Jensen's inequality we show that the attention factor is completely defined by a correlation function of the two samples w.r.t. the model weights. Due to the attention factor the solution for a prediction sample is mostly defined by a few training samples that are correlated with the prediction sample. Finding a specific solution per prediction sample couples together the training and the prediction. To make the approach practical we introduce a latent space to map each prediction sample to a latent space and learn all possible solutions as a function of the latent space along with learning attention as a function of the latent space and a training sample. The latent space plays a role of the context representation with a prediction sample defining a context and a learned context dependent solution used for the prediction.
• Abstract（参考訳）: Bayesian Attention Networks に基づくロスレスデータ圧縮アルゴリズムは、第一原理から導かれる。 ベイジアン注意ネットワークは、トレーニングサンプルと予測サンプルの2つのサンプル入力の関数として、トレーニングサンプル損失当たりの注意因子を導入することで定義される。 鋭いジェンセンの不等式を用いて、2つのサンプル w.r.t の相関関数によって注意因子が完全に定義されることを示す。 モデルの重さです 注意因子により、予測サンプルの解は主に、予測サンプルと相関するいくつかのトレーニングサンプルによって定義される。 予測毎の特定のソリューションを見つける サンプルはトレーニングと予測を結合する。 提案手法を実用化するために,各予測サンプルを潜在空間にマッピングする潜時空間を導入し,潜在空間の関数としての学習と,潜時空間の関数としての学習注意とトレーニングサンプルとしてのすべての可能な解を学習する。 潜在空間は、コンテキストを定義する予測サンプルと、その予測に使用される学習されたコンテキスト依存ソリューションと、コンテキスト表現の役割を果たす。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Correcting sampling biases via importance reweighting for spatial modeling [2.6862667248315386]
  機械学習モデルでは、分布バイアスによってエラーの見積もりが複雑になることが多い。 本稿では,重要サンプリングの考え方に基づいて,対象誤差の偏りのない推定値を求める手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T15:36:28Z)
• Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
  トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
  論文  参考訳（メタデータ） (2022-11-20T19:25:15Z)
• FlashP: An Analytical Pipeline for Real-time Forecasting of Time-Series Relational Data [31.29499654765994]
  リアルタイム予測は、2つのステップで実行できます。まず、集中すべきデータの一部と、データをスライス、ダイシング、集約することで予測される測定値を指定します。 自然なアイデアは、サンプリングを使用して、予測モデルを訓練するために入力としてリアルタイムに近似集計を取得することです。 GSWサンプリングと呼ばれる新しいサンプリングスキームを導入し、GSWサンプルを用いた集計を推定するための誤差境界を分析します。
  論文  参考訳（メタデータ） (2021-01-09T06:23:13Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• DANCE: Enhancing saliency maps using decoys [35.46266461621123]
  本稿では,2段階の手順に従うことで,サリエンシ手法の堅牢性を向上させる枠組みを提案する。 まず、中間表現を変更せずに入力サンプルを微妙に変化させる摂動機構を導入する。 第2に、摂動サンプルの塩分マップを計算し、塩分マップを集約する新しい方法を提案する。
  論文  参考訳（メタデータ） (2020-02-03T01:21:48Z)
• Sampling Prediction-Matching Examples in Neural Networks: A Probabilistic Programming Approach [9.978961706999833]
  本稿では,確率的プログラミングを用いた分類器の予測レベルセットの探索について考察する。 我々は,予測器が同一の特定の予測信頼度を持つ例のセットとして,予測レベルを定義した。 合成データセットとMNISTを用いた実験により,本手法を実証する。
  論文  参考訳（メタデータ） (2020-01-09T15:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。