論文の概要: Know Yourself and Know Your Neighbour: A Syntactically Informed Self-Supervised Compositional Sentence Representation Learning Framework using a Recursive Hypernetwork
- arxiv url: http://arxiv.org/abs/2610.16547v1
- Date: Mon, 12 Oct 2026 10:30:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 22:38:30.090982
- Title: Know Yourself and Know Your Neighbour: A Syntactically Informed Self-Supervised Compositional Sentence Representation Learning Framework using a Recursive Hypernetwork
- Title（参考訳）: 自己を知り,自分の隣人を知る:再帰的ハイパーネットによる自己指導型構成文表現学習フレームワーク
- Abstract要約: 文表現を学習するための自己教師型フレームワークを提案する。
セマンティックな表現とセマンティックな表現は別途維持し,セマンティックな表現からの情報によってセマンティックな構成が導かれる。
7つの探索課題の性能を解析することにより、生成した文表現が、平均的なベースラインと最先端の選択肢の両方よりも豊かな言語情報を符号化していることを検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentence representation learning is still an open challenge in Natural Language Processing. In this work, we propose a new self-supervised framework for learning sentence representations, using a special type of neural network called a recursive hypernetwork. Our proposed model composes the representation of a sentence from representations of words by applying a recursive composition through the parse tree. We maintain a separate syntactic and semantic representation, and the semantic composition is guided by the information from the syntactic representation. To train this model, we introduce a novel set of six self-supervised tasks. By analysing the performance on 7 probing tasks, we validate that the generated sentence representation encodes richer linguistic information than both averaging baselines and state-of-the-art alternatives. Furthermore, we assess the impact of the six proposed self-supervised training tasks through ablation studies. We also demonstrate that the representations generated by our model are stable for sentences of varying length and that the semantic composition operators adapt to different syntactic categories\footnote{Code available: https://github.com/vasudev2020/codi/tree/main}.
- Abstract（参考訳）: 文表現学習は、自然言語処理において依然としてオープンな課題である。
本研究では、再帰的ハイパーネットワークと呼ばれる特殊なタイプのニューラルネットワークを用いて、文表現を学習するための新しい自己教師型フレームワークを提案する。
提案モデルでは,構文木に再帰的合成を適用し,単語の表現から文の表現を構成する。
セマンティックな表現とセマンティックな表現は別途維持し,セマンティックな表現からの情報によってセマンティックな構成が導かれる。
このモデルをトレーニングするために、我々は6つの自己教師型タスクからなる新しいセットを導入する。
7つの探索課題の性能を解析することにより、生成した文表現が、平均的なベースラインと最先端の選択肢の両方よりも豊かな言語情報を符号化していることを検証する。
さらに、アブレーション研究を通じて、6つの自己指導型訓練課題の効果を評価する。
また,本モデルで生成した表現は,長さの異なる文に対して安定であり,意味合成演算子が異なる構文カテゴリに適応可能であることを示す。
関連論文リスト
- Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - Semantic Representation and Inference for NLP [2.969705152497174]
この論文は、新しい意味表現と推論のための深層学習の利用について考察する。
我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。
語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
論文 参考訳（メタデータ） (2021-06-15T13:22:48Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-10-30T13:33:41Z) - A Self-supervised Representation Learning of Sentence Structure for
Authorship Attribution [3.5991811164452923]
文の構造表現を学習するための自己教師型フレームワークを提案する。
本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
論文 参考訳（メタデータ） (2020-10-14T02:57:10Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。
抽出した要約タスクを意味テキストマッチング問題として定式化する。
我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文 参考訳（メタデータ） (2020-04-19T08:27:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。