論文の概要: Representation Learning via Variational Bayesian Networks

• arxiv url: http://arxiv.org/abs/2306.16326v1
• Date: Wed, 28 Jun 2023 16:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 13:35:39.520978
• Title: Representation Learning via Variational Bayesian Networks
• Title（参考訳）: 変分ベイズネットワークによる表現学習
• Authors: Oren Barkan, Avi Caciularu, Idan Rejwan, Ori Katz, Jonathan Weill, Itzik Malkiel, Noam Koenigstein
• Abstract要約: 本稿では,変分ベイズネットワーク(VBN)について紹介する。 VBNは、データが不足しているロングテールのエンティティをモデリングするのに特に有用である。 言語,レコメンデーション,医療推論におけるVBNの有効性を評価する。
• 参考スコア（独自算出の注目度）: 28.007295572274426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Variational Bayesian Network (VBN) - a novel Bayesian entity representation learning model that utilizes hierarchical and relational side information and is particularly useful for modeling entities in the ``long-tail'', where the data is scarce. VBN provides better modeling for long-tail entities via two complementary mechanisms: First, VBN employs informative hierarchical priors that enable information propagation between entities sharing common ancestors. Additionally, VBN models explicit relations between entities that enforce complementary structure and consistency, guiding the learned representations towards a more meaningful arrangement in space. Second, VBN represents entities by densities (rather than vectors), hence modeling uncertainty that plays a complementary role in coping with data scarcity. Finally, we propose a scalable Variational Bayes optimization algorithm that enables fast approximate Bayesian inference. We evaluate the effectiveness of VBN on linguistic, recommendations, and medical inference tasks. Our findings show that VBN outperforms other existing methods across multiple datasets, and especially in the long-tail.
• Abstract（参考訳）: 変動ベイズネットワーク(vbn) - 階層的およびリレーショナルなサイド情報を利用した新しいベイズ型エンティティ表現学習モデルであり、データが不足している 'long-tail'' におけるエンティティのモデリングに特に有用である。 第一に、vbnは共通の祖先を共有するエンティティ間の情報伝達を可能にする情報的階層的優先順位を採用している。 さらに、VBNは相補構造と一貫性を強制するエンティティ間の明示的な関係をモデル化し、学習された表現をより意味のある空間配置へと導く。 第2に、VBNは(ベクトルではなく)密度による実体を表すため、データ不足に対処する上で相補的な役割を果たす不確実性をモデル化する。 最後に,高速近似ベイズ推定を可能にするスケーラブルな変分ベイズ最適化アルゴリズムを提案する。 言語,推奨,医学的推論タスクにおけるvbnの有効性を評価した。 以上の結果から,VBNは複数のデータセット,特にロングテールにおいて,既存の手法よりも優れていることがわかった。

関連論文リスト

• Learning Dynamic Bayesian Networks from Data: Foundations, First Principles and Numerical Comparisons [2.403231673869682]
  データから動的ベイズネットワーク(DBN)を学習する基礎について紹介する。 一般化の形式と、特定の変数分布に対する共通型DBNの集合について述べる。
  論文  参考訳（メタデータ） (2024-06-25T14:28:17Z)
• Tighter Bounds on the Information Bottleneck with Application to Deep Learning [6.206127662604578]
  Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。 Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。 近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
  論文  参考訳（メタデータ） (2024-02-12T13:24:32Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Generating Bayesian Network Models from Data Using Tsetlin Machines [0.0]
  本稿では,Tsetlin Machines を用いたネットワーク構造探索手法を提案する。 データセットが与えられた場合、BNを使用するためのハードルのひとつは、相関や因果関係に関わらず、依存関係を適切に処理するデータからネットワークグラフを構築することだ。
  論文  参考訳（メタデータ） (2023-05-17T19:50:56Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• Towards Federated Bayesian Network Structure Learning with Continuous Optimization [14.779035801521717]
  本稿では,ベイズネットワークの構造を推定するクロスサイロ・フェデレーション学習手法を提案する。 本研究では,連続最適化に基づく分散構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:36:05Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks [14.540226579203207]
  ベイズネットワーク(BN)分類器の複雑さを低減するための2つの方法を提案する。 まず、ストレートスルー勾配推定器を用いてBNのパラメータを数ビットに量子化する量子化学習を導入する。 第2に、モデルサイズも考慮し、最近提案された微分可能な木強化ナイーブベイズ (TAN) 構造学習手法を拡張した。
  論文  参考訳（メタデータ） (2020-10-22T14:47:55Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Shifu2: A Network Representation Learning Based Model for Advisor-advisee Relationship Mining [82.75996880087747]
  本稿では,ネットワーク表現学習(NRL)に基づく新しいモデル,すなわちshifu2を提案する。 Shifu2は、コラボレーションネットワークを入力とし、特定アドバイザ・アドバイザー関係を出力とする。 そこで我々は,Shifu2を利用した大規模学術系譜データセットを作成した。
  論文  参考訳（メタデータ） (2020-08-17T05:40:06Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。