論文の概要: Interactive Model with Structural Loss for Language-based Abductive
Reasoning
- arxiv url: http://arxiv.org/abs/2112.00284v1
- Date: Wed, 1 Dec 2021 05:21:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 13:30:15.318125
- Title: Interactive Model with Structural Loss for Language-based Abductive
Reasoning
- Title(参考訳): 言語に基づく帰納的推論のための構造損失を伴う対話モデル
- Authors: Linhao Li, Ming Xu, Yongfeng Dong, Xin Li, Ao Wang, Qinghua Hu
- Abstract要約: 帰納的自然言語推論タスク(alpha$NLI)は、原因と事象の間の最も明確な説明を推測するために提案される。
我々はこの新モデルを$alpha$NLI: Interactive Model with Structure Loss (IMSL) と命名する。
IMSL は RoBERTa-large Pretrained model で最高性能を達成し,ACC と AUC はそれぞれ約1%,AUC は5% 向上した。
- 参考スコア(独自算出の注目度): 36.02450824915494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The abductive natural language inference task ($\alpha$NLI) is proposed to
infer the most plausible explanation between the cause and the event. In the
$\alpha$NLI task, two observations are given, and the most plausible hypothesis
is asked to pick out from the candidates. Existing methods model the relation
between each candidate hypothesis separately and penalize the inference network
uniformly. In this paper, we argue that it is unnecessary to distinguish the
reasoning abilities among correct hypotheses; and similarly, all wrong
hypotheses contribute the same when explaining the reasons of the observations.
Therefore, we propose to group instead of ranking the hypotheses and design a
structural loss called ``joint softmax focal loss'' in this paper. Based on the
observation that the hypotheses are generally semantically related, we have
designed a novel interactive language model aiming at exploiting the rich
interaction among competing hypotheses. We name this new model for $\alpha$NLI:
Interactive Model with Structural Loss (IMSL). The experimental results show
that our IMSL has achieved the highest performance on the RoBERTa-large
pretrained model, with ACC and AUC results increased by about 1\% and 5\%
respectively.
- Abstract(参考訳): 帰納的自然言語推論タスク(「alpha$NLI」)は、原因と事象の最も明確な説明を推測するために提案される。
alpha$nli のタスクでは、2つの観察が与えられ、最も妥当な仮説は候補の中から選択するように求められます。
既存の手法では、各仮説間の関係を個別にモデル化し、推論ネットワークを均一にペナルティ化する。
本稿では、正しい仮説の推論能力の区別は不要であり、同様に、観察の理由を説明する際には、すべての誤った仮説が同じに寄与すると主張している。
そこで,本論文では,仮説のランク付けや,'joint softmax focal loss'と呼ばれる構造的損失の設計に代えてグループ化を提案する。
仮説が一般に意味論的に関連しているという観察に基づいて,対立する仮説間のリッチな相互作用を活用することを目的とした,対話型言語モデルの設計を行った。
我々はこの新モデルを$\alpha$NLI: Interactive Model with Structure Loss (IMSL)と名付けた。
実験の結果,我々のIMSL は RoBERTa-large Pretrained model で最高性能を示し,ACC と AUC はそれぞれ 1 % と 5 % に増加した。
関連論文リスト
- Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-09-30T18:29:09Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳(メタデータ) (2022-05-08T08:37:36Z) - An Interpretable Neuro-Symbolic Reasoning Framework for Task-Oriented
Dialogue Generation [21.106357884651363]
我々は,モデル決定を推論チェーンで正当化する明示的推論を行うために,ニューロシンボリックを導入する。
仮説生成器と推論器からなる2相手法を提案する。
システム全体は、推論チェーンアノテーションを使わずに、生のテキスト対話を利用して訓練される。
論文 参考訳(メタデータ) (2022-03-11T10:44:08Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - Modeling Voting for System Combination in Machine Translation [92.09572642019145]
本稿では,機械翻訳におけるシステムの組み合わせに対する投票のモデル化手法を提案する。
提案手法は,仮説間の関係を解析できるだけでなく,エンドツーエンドのトレーニングを可能にするため,統計的手法とニューラル手法の利点を組み合わせたものである。
論文 参考訳(メタデータ) (2020-07-14T09:59:38Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳(メタデータ) (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。