論文の概要: Distributional Inclusion Hypothesis and Quantifications: Probing for
Hypernymy in Functional Distributional Semantics
- arxiv url: http://arxiv.org/abs/2309.08325v2
- Date: Sat, 10 Feb 2024 17:57:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 22:34:41.769932
- Title: Distributional Inclusion Hypothesis and Quantifications: Probing for
Hypernymy in Functional Distributional Semantics
- Title(参考訳): 分布包含仮説と定量化:機能分布意味論におけるハイパーニーミーの探索
- Authors: Chun Hei Lo, Wai Lam, Hong Cheng, and Guy Emerson
- Abstract要約: 関数分布意味論(FDS)は、真理条件関数による単語の意味をモデル化する。
FDSモデルは分布包含仮説(DIH)に厳格に従う制限されたコーパスのクラスでハイパーネミーを学ぶことを示す。
- 参考スコア(独自算出の注目度): 50.363809539842386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Functional Distributional Semantics (FDS) models the meaning of words by
truth-conditional functions. This provides a natural representation for
hypernymy but no guarantee that it can be learnt when FDS models are trained on
a corpus. In this paper, we probe into FDS models and study the representations
learnt, drawing connections between quantifications, the Distributional
Inclusion Hypothesis (DIH), and the variational-autoencoding objective of FDS
model training. Using synthetic data sets, we reveal that FDS models learn
hypernymy on a restricted class of corpus that strictly follows the DIH. We
further introduce a training objective that both enables hypernymy learning
under the reverse of the DIH and improves hypernymy detection from real
corpora.
- Abstract(参考訳): 関数分布意味論(FDS)は、真理条件関数による単語の意味をモデル化する。
これはhypernymyの自然な表現を提供するが、fdsモデルがコーパスでトレーニングされた時に学習できる保証はない。
本稿では,FDSモデルを探索し,学習した表現,定量化,分布包摂仮説(DIH),およびFDSモデルトレーニングの変分自動符号化の目的について検討する。
合成データセットを用いて、FDSモデルは、厳密なDIHに従う制限されたコーパスのクラスでハイパーネミーを学ぶ。
さらに,dihの反転下でのハイパーニーミー学習を可能にし,実コーパスからのハイパーニーミー検出を改善するトレーニング目標についても紹介する。
関連論文リスト
- Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳(メタデータ) (2024-08-27T14:25:42Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳(メタデータ) (2024-03-18T17:08:24Z) - On Memorization in Diffusion Models [46.656797890144105]
より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。
我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。
本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
論文 参考訳(メタデータ) (2023-10-04T09:04:20Z) - Training Data Protection with Compositional Diffusion Models [99.46239561159953]
比較拡散モデル(CDM)は、異なるデータソース上で異なる拡散モデル(またはプロンプト)を訓練する手法である。
個々のモデルは、独立した、異なるタイミングで、異なる分散とドメインでトレーニングすることができる。
各モデルには、トレーニング中に露出したデータのサブセットに関する情報のみが含まれており、いくつかの形式のトレーニングデータ保護を可能にする。
論文 参考訳(メタデータ) (2023-08-02T23:27:49Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - Score-based Generative Modeling Through Backward Stochastic Differential
Equations: Inversion and Generation [6.2255027793924285]
提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。
モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
論文 参考訳(メタデータ) (2023-04-26T01:15:35Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-04-14T13:51:26Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳(メタデータ) (2022-03-11T10:47:16Z) - Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of
Partial Differential Equations [5.584060970507507]
Parsimony Enhanced Sparse Bayesian Learning (PeSBL) 法は非線形力学系の部分微分方程式 (PDE) を解析するために開発された。
数値ケーススタディの結果,多くの標準力学系のPDEをPeSBL法を用いて正確に同定できることが示唆された。
論文 参考訳(メタデータ) (2021-07-08T00:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。