論文の概要: Functorial Language Models
- arxiv url: http://arxiv.org/abs/2103.14411v1
- Date: Fri, 26 Mar 2021 11:41:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 12:38:49.573381
- Title: Functorial Language Models
- Title(参考訳): 関数型言語モデル
- Authors: Alexis Toumi, Alex Koziell-Pipe
- Abstract要約: 文法から意味へのモノイド関手が与えられた単語列上の確率分布を原理的に計算する手法である。
これにより、生テキストデータに基づいてカテゴリ構成分布(DisCoCat)モデルを訓練する。
- 参考スコア(独自算出の注目度): 0.22843885788439797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce functorial language models: a principled way to compute
probability distributions over word sequences given a monoidal functor from
grammar to meaning. This yields a method for training categorical compositional
distributional (DisCoCat) models on raw text data. We provide a
proof-of-concept implementation in DisCoPy, the Python toolbox for monoidal
categories.
- Abstract(参考訳): 文法から意味へのモノイド関手が与えられた単語列上の確率分布を原理的に計算する手法である。
これにより、生テキストデータに基づいてカテゴリ構成分布(DisCoCat)モデルを訓練する。
モノイダルカテゴリ用のPythonツールボックスであるDisCoPyで概念実証実装を提供する。
関連論文リスト
- Simulation-based inference with the Python Package sbijax [0.7499722271664147]
sbijaxは、ニューラルネットワークベースの推論に様々な最先端のメソッドを実装するPythonパッケージである。
このパッケージはベイズ近似計算の機能を提供し、モデル診断を計算し、自動的に要約統計を推定する。
論文 参考訳(メタデータ) (2024-09-28T18:47:13Z) - End-to-end Training and Decoding for Pivot-based Cascaded Translation
Model [40.41344631506705]
本稿では,ケースケード翻訳モデルのエンドツーエンド学習手法を提案する。
我々は、ピボットデコーディングにおいてビームサーチを用いてトークンと確率分布の不整合を緩和する。
論文 参考訳(メタデータ) (2023-05-03T16:48:43Z) - Symbolic Metamodels for Interpreting Black-boxes Using Primitive
Functions [15.727276506140878]
ブラックボックス機械学習モデルを解釈する1つのアプローチは、単純な解釈可能な関数を使ってモデルのグローバルな近似を見つけることである。
本研究では,解釈可能なメタモデルを見つけるための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-02-09T17:30:43Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-15T05:22:40Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳(メタデータ) (2022-01-28T12:00:31Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z) - Autoencoding Pixies: Amortised Variational Inference with Graph
Convolutions for Functional Distributional Semantics [12.640283469603355]
Pixie Autoencoderはグラフ畳み込みニューラルネットワークを用いて関数分散セマンティックスの生成モデルを拡張して、償却変分推論を実行する。
論文 参考訳(メタデータ) (2020-05-06T17:46:40Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。