論文の概要: Syntactic Inductive Biases for Deep Learning Methods

• arxiv url: http://arxiv.org/abs/2206.04806v1
• Date: Wed, 8 Jun 2022 11:18:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 08:45:26.209101
• Title: Syntactic Inductive Biases for Deep Learning Methods
• Title（参考訳）: 深層学習における構文的帰納的バイアス
• Authors: Yikang Shen
• Abstract要約: 帰納バイアスの2つの家系を提案し,その1つは選挙区構造,もう1つは依存関係構造について検討した。 選挙区帰納バイアスは、ディープラーニングモデルに対して、長期的および短期的な情報を個別に処理するために異なる単位(またはニューロン)を使用するように促す。 依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜伏関係を見つけることをモデルに促す。
• 参考スコア（独自算出の注目度）: 8.758273291015474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this thesis, we try to build a connection between the two schools by introducing syntactic inductive biases for deep learning models. We propose two families of inductive biases, one for constituency structure and another one for dependency structure. The constituency inductive bias encourages deep learning models to use different units (or neurons) to separately process long-term and short-term information. This separation provides a way for deep learning models to build the latent hierarchical representations from sequential inputs, that a higher-level representation is composed of and can be decomposed into a series of lower-level representations. For example, without knowing the ground-truth structure, our proposed model learns to process logical expression through composing representations of variables and operators into representations of expressions according to its syntactic structure. On the other hand, the dependency inductive bias encourages models to find the latent relations between entities in the input sequence. For natural language, the latent relations are usually modeled as a directed dependency graph, where a word has exactly one parent node and zero or several children nodes. After applying this constraint to a Transformer-like model, we find the model is capable of inducing directed graphs that are close to human expert annotations, and it also outperforms the standard transformer model on different tasks. We believe that these experimental results demonstrate an interesting alternative for the future development of deep learning models.
• Abstract（参考訳）: 本論文では,深層学習モデルに構文的帰納的バイアスを導入することで,両学派のつながりを築こうとしている。 帰納バイアスの2つのファミリーを提案する。1つは構成構造、もう1つは依存構造である。 構成的帰納バイアスは、ディープラーニングモデルが異なる単位(またはニューロン)を使用して、長期的な情報と短期的な情報を別々に処理することを奨励する。 この分離により、ディープラーニングモデルはシーケンシャルな入力から潜在階層的な表現を構築することができ、より高いレベルの表現は構成され、一連の下位レベルの表現に分解できる。 例えば、本モデルでは、基底構造を知らずに、変数や演算子の表現を構文構造に従って表現に変換することにより、論理表現の処理を学習する。 一方、依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜在関係を見つけることをモデルに促す。 自然言語では、潜在関係は通常、単語がちょうど1つの親ノードと0または複数の子ノードを持つ有向依存グラフとしてモデル化される。 この制約をTransformerライクなモデルに適用すると、モデルが人間の専門家のアノテーションに近い有向グラフを誘導し、異なるタスクにおける標準トランスフォーマーモデルよりも優れていることが分かる。 これらの実験結果は、ディープラーニングモデルの将来の発展にとって興味深い代替手段であると信じています。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Amortised Inference in Structured Generative Models with Explaining Away [16.92791301062903]
  我々は、複数の変数に対して構造化因子を組み込むために、償却変分推論の出力を拡張した。 パラメータ化された因子は、複雑な図形構造における変分メッセージパッシングと効率的に結合可能であることを示す。 次に、構造化されたモデルと、自由に動くげっ歯類の海馬からの高次元神経スパイク時系列を適合させる。
  論文  参考訳（メタデータ） (2022-09-12T12:52:15Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling [45.96663013609177]
  依存関係と選挙区構造を同時に誘導できる新しいモデルであるStructFormerを導入する。 我々は,新しい依存性制約自己保持機構を通じて,変換器に誘導される依存性関係を微分可能な方法で統合する。 実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングにおいて, モデルが強い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-01T21:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。