論文の概要: StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure

• arxiv url: http://arxiv.org/abs/2305.05588v2
• Date: Wed, 25 Oct 2023 15:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 21:02:04.421187
• Title: StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure
• Title（参考訳）: StrAE: 明示的構造を用いた事前学習型埋め込みの自動エンコーディング
• Authors: Mattia Opper, Victor Prokhorov, N. Siddharth
• Abstract要約: StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。 本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。 次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
• 参考スコア（独自算出の注目度）: 5.2869308707704255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents StrAE: a Structured Autoencoder framework that through strict adherence to explicit structure, and use of a novel contrastive objective over tree-structured representations, enables effective learning of multi-level representations. Through comparison over different forms of structure, we verify that our results are directly attributable to the informativeness of the structure provided as input, and show that this is not the case for existing tree models. We then further extend StrAE to allow the model to define its own compositions using a simple localised-merge algorithm. This variant, called Self-StrAE, outperforms baselines that don't involve explicit hierarchical compositions, and is comparable to models given informative structure (e.g. constituency parses). Our experiments are conducted in a data-constrained (circa 10M tokens) setting to help tease apart the contribution of the inductive bias to effective learning. However, we find that this framework can be robust to scale, and when extended to a much larger dataset (circa 100M tokens), our 430 parameter model performs comparably to a 6-layer RoBERTa many orders of magnitude larger in size. Our findings support the utility of incorporating explicit composition as an inductive bias for effective representation learning.
• Abstract（参考訳）: この研究はStrAE: 明示的な構造への厳密な固執、木構造表現に対する新しい対照的な目的の利用を通じて、マルチレベル表現の効果的な学習を可能にする構造化オートエンコーダフレームワークを提示する。 異なる構造形態の比較を通して、入力として提供される構造のインフォメーション性に直接的な寄与があることを確認し、既存の木モデルではそうではないことを示す。 さらにStrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。 この変種はSelf-StrAEと呼ばれ、明示的な階層的な構成を含まないベースラインよりも優れており、情報構造が与えられたモデルに匹敵する。 実験はデータ制約付き(約1000万トークン)で実施され,帰納的バイアスの効果的な学習への貢献を区別するのに役立つ。 しかし、このフレームワークはスケールに堅牢であり、はるかに大きなデータセット(約100mのトークン)に拡張すると、430のパラメータモデルが6層ロバータに比較可能になります。 本研究は,効果的な表現学習のための帰納的バイアスとして,明示的な構成を組み込むことの有用性を支持する。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Promptly Predicting Structures: The Return of Inference [31.442123334313035]
  ゼロショットと少数ショットの言語構造予測器を構築するためのフレームワークを提案する。 その結果, 整合性の維持は構造的に有効であるだけでなく, 性能も向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-12T20:08:39Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Adaptive Attribute and Structure Subspace Clustering Network [49.040136530379094]
  自己表現型サブスペースクラスタリングネットワークを提案する。 まず、入力データサンプルを表現する自動エンコーダについて検討する。 そこで我々は, 局所的な幾何学的構造を捉えるために, 混合符号と対称構造行列を構築した。 構築された属性構造と行列に対して自己表現を行い、親和性グラフを学習する。
  論文  参考訳（メタデータ） (2021-09-28T14:00:57Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)
• DRTS Parsing with Structure-Aware Encoding and Decoding [28.711318411470497]
  最先端のパフォーマンスは、ニューラルシーケンス・ツー・シーケンスモデルによって達成できる。 構造情報を統合するために,エンコーダとデコーダの両フェーズにおける構造認識モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-14T12:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。