論文の概要: Learning Markov Random Fields for Combinatorial Structures via Sampling through Lov\'asz Local Lemma

• arxiv url: http://arxiv.org/abs/2212.00296v4
• Date: Sat, 2 Sep 2023 07:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 07:03:53.785460
• Title: Learning Markov Random Fields for Combinatorial Structures via Sampling through Lov\'asz Local Lemma
• Title（参考訳）: Lov\'asz局所補題による組合せ構造のためのマルコフランダムフィールドの学習
• Authors: Nan Jiang, Yi Gu, Yexiang Xue
• Abstract要約: いくつかの実世界の領域の実験結果は、ネルソンが100%有効な構造を生成することを学習していることを明らかにする。 ネルソンはまた、実行時間、ログライクな状態、MAPスコアにおいて他のアプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 27.211006962540367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to generate complex combinatorial structures satisfying constraints will have transformative impacts in many application domains. However, it is beyond the capabilities of existing approaches due to the highly intractable nature of the embedded probabilistic inference. Prior works spend most of the training time learning to separate valid from invalid structures but do not learn the inductive biases of valid structures. We develop NEural Lov\'asz Sampler (Nelson), which embeds the sampler through Lov\'asz Local Lemma (LLL) as a fully differentiable neural network layer. Our Nelson-CD embeds this sampler into the contrastive divergence learning process of Markov random fields. Nelson allows us to obtain valid samples from the current model distribution. Contrastive divergence is then applied to separate these samples from those in the training set. Nelson is implemented as a fully differentiable neural net, taking advantage of the parallelism of GPUs. Experimental results on several real-world domains reveal that Nelson learns to generate 100\% valid structures, while baselines either time out or cannot ensure validity. Nelson also outperforms other approaches in running time, log-likelihood, and MAP scores.
• Abstract（参考訳）: 制約を満たす複雑な組合せ構造を生成することを学ぶことは、多くのアプリケーションドメインに変化をもたらすだろう。 しかし、組込み確率的推論の非常に難解な性質のため、既存のアプローチの能力を超えている。 事前の作業では、トレーニング時間の大半を不正な構造から有効な構造を分離するために費やしているが、有効な構造の帰納バイアスを学ばない。 そこで我々は,Lov\'asz Local Lemma (LLL) をニューラルネットワーク層として組み込んだ NEural Lov\'asz Sampler (Nelson) を開発した。 我々のNelson-CDはこのサンプルをマルコフ確率場の対照的な分岐学習プロセスに埋め込む。 Nelson は現在のモデル分布から有効なサンプルを得ることができます。 対照的な分岐は、これらのサンプルをトレーニングセットのサンプルから分離するために適用される。 NelsonはGPUの並列性を利用して、完全に微分可能なニューラルネットとして実装されている。 いくつかの実世界のドメインにおける実験の結果、ネルソンは100\%の有効構造を生成することを学んでいるのに対し、ベースラインはタイムアウトまたは有効性を保証することができないことが判明した。 ネルソンはランニングタイムやログライク、マップスコアといった他のアプローチよりも優れています。

関連論文リスト

• Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
  本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。 本手法は, 欠落した特徴がなくても, 最適近傍に線形収束することを示す。
  論文  参考訳（メタデータ） (2024-10-29T22:09:31Z)
• Generative Conditional Distributions by Neural (Entropic) Optimal Transport [12.152228552335798]
  本稿では,条件分布の生成モデル学習を目的とした,ニューラルエントロピー最適輸送手法を提案する。 提案手法は,2つのニューラルネットワークのミニマックストレーニングに依存する。 実世界のデータセットを用いた実験では,現状条件分布学習法と比較して,アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-04T13:45:35Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and Luck [35.6883212537938]
  オフラインスパースパリティ学習は,多層パーセプトロンの勾配に基づくトレーニングにおいて,統計的クエリの下限を許容する教師付き分類問題である。 理論上, 実験上, 疎初期化とネットワーク幅の増大がサンプル効率を著しく向上させることを示す。 また,合成スパースパリティタスクは,軸方向の特徴学習を必要とする現実的な問題のプロキシとして有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-07T15:52:48Z)
• On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
  社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。 これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。 アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
  論文  参考訳（メタデータ） (2022-10-22T19:07:26Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。