論文の概要: Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference

• arxiv url: http://arxiv.org/abs/2212.07428v2
• Date: Fri, 16 Dec 2022 15:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:27:40.575807
• Title: Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference
• Title（参考訳）: 自然言語推論のための言語型多目的事前学習に向けて
• Authors: Maren Pielka, Svetlana Schmidt, Lisa Pucknat, Rafet Sifa
• Abstract要約: 本稿では,トランスのための事前学習手法を言語的に強化した組み合わせを提案する。 事前トレーニング対象にはPOSタグ付け、セマンティック知識グラフに基づく構文予測、依存性解析木に基づく親予測が含まれる。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。
• 参考スコア（独自算出の注目度）: 0.38233569758620045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a linguistically enhanced combination of pre-training methods for transformers. The pre-training objectives include POS-tagging, synset prediction based on semantic knowledge graphs, and parent prediction based on dependency parse trees. Our approach achieves competitive results on the Natural Language Inference task, compared to the state of the art. Specifically for smaller models, the method results in a significant performance boost, emphasizing the fact that intelligent pre-training can make up for fewer parameters and help building more efficient models. Combining POS-tagging and synset prediction yields the overall best results.
• Abstract（参考訳）: トランスフォーマの事前学習法を言語的に強化した組み合わせを提案する。 事前学習の目的は、pos-tagging、セマンティック知識グラフに基づくsynset予測、依存構文解析木に基づく親予測である。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。 より小さなモデルでは、インテリジェントな事前学習がより少ないパラメータを補うことができ、より効率的なモデルを構築するのに役立つという事実を強調した。 POSタグとシンセット予測を組み合わせることで、全体的な最高の結果が得られる。

関連論文リスト

• Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
  本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。 提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-28T03:43:25Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
  クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。 データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。 本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
  論文  参考訳（メタデータ） (2022-12-16T23:37:44Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
  事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。 本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。 我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-03-28T05:26:52Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。