論文の概要: Semantics-Aware Inferential Network for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2004.13338v1
• Date: Tue, 28 Apr 2020 07:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 23:00:23.770622
• Title: Semantics-Aware Inferential Network for Natural Language Understanding
• Title（参考訳）: 自然言語理解のためのsemantics-aware inferential network
• Authors: Shuailiang Zhang, Hai Zhao, Junru Zhou
• Abstract要約: このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 79.70497178043368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For natural language understanding tasks, either machine reading comprehension or natural language inference, both semantics-aware and inference are favorable features of the concerned modeling for better understanding performance. Thus we propose a Semantics-Aware Inferential Network (SAIN) to meet such a motivation. Taking explicit contextualized semantics as a complementary input, the inferential module of SAIN enables a series of reasoning steps over semantic clues through an attention mechanism. By stringing these steps, the inferential network effectively learns to perform iterative reasoning which incorporates both explicit semantics and contextualized representations. In terms of well pre-trained language models as front-end encoder, our model achieves significant improvement on 11 tasks including machine reading comprehension and natural language inference.
• Abstract（参考訳）: 機械読解や自然言語推論といった自然言語理解タスクでは、セマンティクス認識と推論の両方が、パフォーマンスをよりよく理解するためのモデリングの好都合な特徴である。 そこで我々は,このようなモチベーションを満たすためのセマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈化されたセマンティクスを補完的な入力として捉え、アテンションメカニズムを通じてセマンティクスのヒントに対する一連の推論ステップを可能にする。 これらのステップを文字列化することで、推論ネットワークは、明示的な意味論と文脈化された表現の両方を組み込んだ反復推論の実行を効果的に学習する。 フロントエンドエンコーダとして訓練済みの言語モデルに関しては,機械読解や自然言語推論を含む11のタスクにおいて,大幅な改善を実現している。

関連論文リスト

• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference [24.58277380514406]
  自然言語推論(NLI)は自然言語処理において重要な課題である。 本稿では,大規模な事前学習型言語知識と関連する視覚情報とを同時に統合する,革新的なScenaFuseアダプタを提案する。 我々のアプローチは言語と視覚のギャップを埋め、NLIタスクにおける理解と推論能力の改善につながります。
  論文  参考訳（メタデータ） (2024-05-21T01:19:52Z)
• Punctuation Restoration Improves Structure Understanding without Supervision [6.4736137270915215]
  学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。 句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
  論文  参考訳（メタデータ） (2024-02-13T11:22:52Z)
• Contextualized word senses: from attention to compositionality [0.10878040851637999]
  本稿では,文脈感覚を符号化する透過的,解釈可能,言語的に動機づけられた戦略を提案する。 特に依存関係や選択選好やパラダイムクラスといった意味概念に注意が向けられる。
  論文  参考訳（メタデータ） (2023-12-01T16:04:00Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Transferring Semantic Knowledge Into Language Encoders [6.85316573653194]
  意味的意味表現から言語エンコーダへ意味的知識を伝達する手法である意味型ミッドチューニングを導入する。 このアライメントは分類や三重項の損失によって暗黙的に学習できることを示す。 提案手法は, 推論, 理解, テキストの類似性, その他の意味的タスクにおいて, 予測性能の向上を示す言語エンコーダを生成する。
  論文  参考訳（メタデータ） (2021-10-14T14:11:12Z)
• How could Neural Networks understand Programs? [67.4217527949013]
  ソースコードにnlpプリトレーニング技術を直接適用するか、あるいはtheshelfによってモデルに機能を追加するかで、プログラムをより理解するためのモデルを構築するのは難しい。 本研究では,(1)操作セマンティクスの基本操作とよく一致する表現と(2)環境遷移の情報からなる情報から,モデルが学ぶべき新しいプログラムセマンティクス学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T12:21:42Z)
• SG-Net: Syntax Guided Transformer for Language Representation [58.35672033887343]
  本稿では,言語的動機づけのある単語表現のための明示的な構文制約をアテンション機構に組み込むことにより,テキストモデリングの指導に構文を用いることを提案する。 詳細は、自己注意ネットワーク(SAN)が支援するTransformerベースのエンコーダについて、SANにSDOI設計の構文依存性を導入し、構文誘導型自己注意型SDOI-SANを形成する。 機械読解、自然言語推論、ニューラルネットワーク翻訳などの一般的なベンチマークタスクの実験は、提案したSG-Net設計の有効性を示している。
  論文  参考訳（メタデータ） (2020-12-27T11:09:35Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。