論文の概要: Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation

• arxiv url: http://arxiv.org/abs/2311.15211v1
• Date: Sun, 26 Nov 2023 06:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:44:12.062176
• Title: Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
• Title（参考訳）: 確率的トランスフォーマー:文脈表現のための確率的依存モデル
• Authors: Haoyi Wu, Kewei Tu
• Abstract要約: 本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
• 参考スコア（独自算出の注目度）: 52.270712965271656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Syntactic structures used to play a vital role in natural language processing (NLP), but since the deep learning revolution, NLP has been gradually dominated by neural models that do not consider syntactic structures in their design. One vastly successful class of neural models is transformers. When used as an encoder, a transformer produces contextual representation of words in the input sentence. In this work, we propose a new model of contextual word representation, not from a neural perspective, but from a purely syntactic and probabilistic perspective. Specifically, we design a conditional random field that models discrete latent representations of all words in a sentence as well as dependency arcs between them; and we use mean field variational inference for approximate inference. Strikingly, we find that the computation graph of our model resembles transformers, with correspondences between dependencies and self-attention and between distributions over latent representations and contextual embeddings of words. Experiments show that our model performs competitively to transformers on small to medium sized datasets. We hope that our work could help bridge the gap between traditional syntactic and probabilistic approaches and cutting-edge neural approaches to NLP, and inspire more linguistically-principled neural approaches in the future.
• Abstract（参考訳）: 構文構造は自然言語処理(nlp)において重要な役割を担っていたが、ディープラーニング革命以降、nlpは徐々に構文構造を考慮しない神経モデルに支配されるようになった。 非常に成功したニューラルモデルの一つがトランスフォーマーである。 エンコーダとして使用する場合、トランスフォーマーは入力文中の単語の文脈表現を生成する。 本研究では,神経的な視点からではなく,純粋に構文的・確率的視点から,文脈的単語表現の新しいモデルを提案する。 具体的には、文中のすべての単語の離散的な潜在表現とそれらの間の依存弧をモデル化する条件付きランダムフィールドを設計し、近似推論に平均場変動推論を用いる。 驚くべきことに、我々のモデルの計算グラフはトランスフォーマーに似ており、依存と自己対応、潜在表現上の分布と単語の文脈埋め込みの間の対応がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。 私たちの研究が,従来の構文的アプローチと確率的アプローチ,最先端のニューラルネットワークのnlpとのギャップを埋める上で有効であることを願っています。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Syntactic Inductive Biases for Deep Learning Methods [8.758273291015474]
  帰納バイアスの2つの家系を提案し,その1つは選挙区構造,もう1つは依存関係構造について検討した。 選挙区帰納バイアスは、ディープラーニングモデルに対して、長期的および短期的な情報を個別に処理するために異なる単位(またはニューロン)を使用するように促す。 依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜伏関係を見つけることをモデルに促す。
  論文  参考訳（メタデータ） (2022-06-08T11:18:39Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Implicit Representations of Meaning in Neural Language Models [31.71898809435222]
  会話を通して進化する実体や状況のモデルとして機能する文脈表現を同定する。 その結果,事前学習されたニューラルネットワークモデルにおける予測は,少なくとも部分的には,意味の動的表現と実体状態の暗黙的なシミュレーションによって支持されていることが示唆された。
  論文  参考訳（メタデータ） (2021-06-01T19:23:20Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。