論文の概要: StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure

• arxiv url: http://arxiv.org/abs/2305.05588v1
• Date: Tue, 9 May 2023 16:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:12:16.249935
• Title: StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure
• Title（参考訳）: StrAE: 明示的構造を用いた事前学習型埋め込みの自動エンコーディング
• Authors: Mattia Opper, Victor Prokhorov, N. Siddharth
• Abstract要約: StrAEは、文構造を忠実に活用し、教師なしの方法で埋め込みを学ぶ自動エンコーディングフレームワークである。 明示的な構造を活用することで,従来の作業よりも組込み性が向上し,構造に対する新たなコントラスト目的が標準的なクロスエントロピー目標より優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.166295570030645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the utility of explicit structure for representation learning in NLP by developing StrAE -- an autoencoding framework that faithfully leverages sentence structure to learn multi-level node embeddings in an unsupervised fashion. We use StrAE to train models across different types of sentential structure and objectives, including a novel contrastive loss over structure, and evaluate the learnt embeddings on a series of both intrinsic and extrinsic tasks. Our experiments indicate that leveraging explicit structure through StrAE leads to improved embeddings over prior work, and that our novel contrastive objective over structure outperforms the standard cross-entropy objective. Moreover, in contrast to findings from prior work that weakly leverages structure, we find that being completely faithful to structure does enable disambiguation between types of structure based on the corresponding model's performance. As further evidence of StrAE's utility, we develop a simple proof-of-concept approach to simultaneously induce structure while learning embeddings, rather than being given structure, and find that performance is comparable to that of the best-performing models where structure is given. Finally, we contextualise these results by comparing StrAE against standard unstructured baselines learnt in similar settings, and show that faithfully leveraging explicit structure can be beneficial in lexical and sentence-level semantics.
• Abstract（参考訳）: 文構造を忠実に活用し、教師なしの方法でマルチレベルノード埋め込みを学習する自動符号化フレームワークであるStrAEを開発することにより、NLPにおける表現学習のための明示的な構造の有用性を探求する。 我々はStrAEを用いて、異なるタイプの知覚的構造と目的のモデルをトレーニングし、構造に対する新たな対照的な損失を発生させ、本質的および外生的なタスクの連続に学習した埋め込みを評価する。 実験の結果, 明示的な構造を成層的に活用することで, 先行作業よりも組込み性が向上し, 従来のクロスエントロピー目標よりも, 構造に対する新しい対照的目標が優れていることが示された。 さらに、構造を弱く活用する先行研究の成果とは対照的に、構造に完全に忠実であることは、対応するモデルの性能に基づく構造の種類間の曖昧さを可能にする。 straeの有用性のさらなる証拠として、我々は埋め込みを学習しながら同時に構造を誘導する単純な概念実証手法を開発し、構造が与えられる最も優れたモデルのそれと性能が同等であることを示す。 最後に,StrAEと標準の非構造的ベースラインを類似した設定で学習することで,これらの結果を文脈的に比較し,明示的構造を忠実に活用することは語彙的・文レベルの意味論において有益であることを示す。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Promptly Predicting Structures: The Return of Inference [31.442123334313035]
  ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。 その結果, 整合性の維持は構造的に有効であるだけでなく, 性能も向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-12T20:08:39Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Adaptive Attribute and Structure Subspace Clustering Network [49.040136530379094]
  自己表現型サブスペースクラスタリングネットワークを提案する。 まず、入力データサンプルを表現する自動エンコーダについて検討する。 そこで我々は, 局所的な幾何学的構造を捉えるために, 混合符号と対称構造行列を構築した。 構築された属性構造と行列に対して自己表現を行い、親和性グラフを学習する。
  論文  参考訳（メタデータ） (2021-09-28T14:00:57Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)
• DRTS Parsing with Structure-Aware Encoding and Decoding [28.711318411470497]
  最先端のパフォーマンスは、ニューラルシーケンス・ツー・シーケンスモデルによって達成できる。 構造情報を統合するために,エンコーダとデコーダの両フェーズにおける構造認識モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-14T12:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。