論文の概要: Supporting Context Monotonicity Abstractions in Neural NLI Models

• arxiv url: http://arxiv.org/abs/2105.08008v1
• Date: Mon, 17 May 2021 16:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:06:54.879339
• Title: Supporting Context Monotonicity Abstractions in Neural NLI Models
• Title（参考訳）: ニューラルnliモデルにおけるコンテキストモノトニック性抽象化のサポート
• Authors: Julia Rozanova, Deborah Ferreira, Mokanarangan Thayaparan, Marco Valentino, Andr\'e Freitas
• Abstract要約: 特定の NLI 問題では、包含ラベルは文脈の単調性と置換概念間の関係にのみ依存する。 抽象単位としての文脈処理を記述した、健全で簡略化された単調性論理形式論を紹介します。 フォーマリズムにおける概念を用いて、ターゲットとするチャレンジセットを適応させ、中間コンテキストのモノトニック性分類タスクがNLIモデルのパフォーマンスを補助するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 2.624902795082451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language contexts display logical regularities with respect to substitutions of related concepts: these are captured in a functional order-theoretic property called monotonicity. For a certain class of NLI problems where the resulting entailment label depends only on the context monotonicity and the relation between the substituted concepts, we build on previous techniques that aim to improve the performance of NLI models for these problems, as consistent performance across both upward and downward monotone contexts still seems difficult to attain even for state-of-the-art models. To this end, we reframe the problem of context monotonicity classification to make it compatible with transformer-based pre-trained NLI models and add this task to the training pipeline. Furthermore, we introduce a sound and complete simplified monotonicity logic formalism which describes our treatment of contexts as abstract units. Using the notions in our formalism, we adapt targeted challenge sets to investigate whether an intermediate context monotonicity classification task can aid NLI models' performance on examples exhibiting monotonicity reasoning.
• Abstract（参考訳）: 自然言語文脈は関連する概念の置換に関して論理的に正則性を示す:それらは単調性と呼ばれる機能的順序論的性質で捉えられる。 これらの問題に対するNLIモデルの性能向上を目的とした従来の手法を基礎として,提案手法は,提案手法の文脈の単調性と代替概念の関係にのみ依存する,ある種のNLI問題に対して,上向きと下向きの単調な文脈における一貫した性能が,最先端のモデルにおいても達成し難いように思われる。 この目的のために、コンテクスト単調性分類の問題を再構成して、トランスフォーマーベースの事前学習NLIモデルと互換性を持たせ、このタスクをトレーニングパイプラインに追加する。 さらに,文脈の扱いを抽象単位として記述した,音質と完全簡素な単調性論理形式を提案する。 フォーマリズムにおける概念を用いて,中間文脈の単調性分類タスクが単調性推論を示す例におけるNLIモデルの性能向上に役立つかどうかを検討する。

関連論文リスト

• MonoKAN: Certified Monotonic Kolmogorov-Arnold Network [48.623199394622546]
  特定のアプリケーションでは、モデル予測は専門家が提案した要件と一致し、時には部分的な単調性制約によって例示されなければならない。 我々は,kanアーキテクチャに基づく新しいANNアーキテクチャMonoKANを導入し,解釈性を高めつつ,認証された部分的単調性を実現する。 実験の結果,MonoKANは解釈可能性を高めるだけでなく,ほとんどのベンチマークにおける予測性能も向上し,最先端のモノトニックアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T11:10:59Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional MoEs [63.936622239286685]
  異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。 一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。 コード及び事前訓練されたジェネリストモデルは、解放される。
  論文  参考訳（メタデータ） (2022-06-09T17:59:59Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? [25.43442712037725]
  本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。 本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。 本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-24T06:48:56Z)
• Decomposing Natural Logic Inferences in Neural NLI [9.606462437067984]
  ニューラルNLIモデルは、単調性や概念包摂性といった、自然論理の中心となる重要な意味的特徴を捉えているかどうかを考察する。 ベンチマークで高いスコアを得る人気NLIモデルの表現において、モノトニック性情報は顕著に弱いことが判明した。
  論文  参考訳（メタデータ） (2021-12-15T17:35:30Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation [14.431925736607043]
  本研究は, 語彙的含意と否定に焦点をあてた新しい自然主義的データセットであるモノトニック性NLI(MoNLI)について述べる。 行動評価では、汎用NLIデータセットでトレーニングされたモデルは、否定を含むMoNLIの例で体系的に失敗する。 構造評価では,トップパフォーマンスのBERTベースのモデルが,MoNLIの背後にある単調性アルゴリズムを実装することを学習したことを示す。
  論文  参考訳（メタデータ） (2020-04-30T07:53:20Z)
• Exact Hard Monotonic Attention for Character-Level Transduction [76.66797368985453]
  非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
  論文  参考訳（メタデータ） (2019-05-15T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。