論文の概要: Teaching Probabilistic Logical Reasoning to Transformers
- arxiv url: http://arxiv.org/abs/2305.13179v1
- Date: Mon, 22 May 2023 16:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 14:38:00.865539
- Title: Teaching Probabilistic Logical Reasoning to Transformers
- Title(参考訳): 変圧器に確率論的論理推論を教える
- Authors: Aliakbar Nafar, Kristen Brent Venable, Parisa Kordjamshidi
- Abstract要約: 本稿では,トランスフォーマーに基づく言語モデルにおける確率論的論理則の利用について分析する。
我々は、不確実なテキスト規則よりも確率論的推論を評価するための新しいQAベンチマークを作成する。
- 参考スコア(独自算出の注目度): 20.630233471579874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research on transformer-based language models investigates their
reasoning ability over logical rules expressed in natural language text.
However, their logic is not yet well-understood as we cannot explain the
abstractions made by the models that help them in reasoning. These models are
criticized for merely memorizing complex patterns in the data, which often
creates issues for their generalizability in unobserved situations. In this
work, we analyze the use of probabilistic logical rules in transformer-based
language models. In particular, we propose a new approach, Probabilistic
Constraint Training (PCT), that explicitly models probabilistic logical
reasoning by imposing the rules of reasoning as constraints during training. We
create a new QA benchmark for evaluating probabilistic reasoning over uncertain
textual rules, which creates instance-specific rules, unlike the only existing
relevant benchmark. Experimental results show that our proposed technique
improves the base language models' accuracy and explainability when
probabilistic logical reasoning is required for question answering. Moreover,
we show that the learned probabilistic reasoning abilities are transferable to
novel situations.
- Abstract(参考訳): 最近のトランスフォーマーに基づく言語モデルの研究は、自然言語テキストで表現される論理規則よりも推論能力が高い。
しかし、それらの論理はまだ十分に理解されていないため、推論の助けとなるモデルによってなされる抽象化を説明することはできない。
これらのモデルは、単にデータの複雑なパターンを記憶しているだけであると批判されている。
本研究では,トランスフォーマティブ言語モデルにおける確率論的論理規則の利用について分析する。
特に,確率的制約トレーニング(probabilistic constraints training, pct)という新しい手法を提案する。
我々は、不確実なテキスト規則よりも確率論的推論を評価するための新しいQAベンチマークを作成します。
提案手法は,質問応答に確率的論理推論が必要な場合に,基礎言語モデルの精度と説明可能性を向上させる。
さらに,学習した確率的推論能力が新たな状況に移行可能であることを示す。
関連論文リスト
- Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Can Unsupervised Knowledge Transfer from Social Discussions Help
Argument Mining? [25.43442712037725]
本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。
本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。
本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
論文 参考訳(メタデータ) (2022-03-24T06:48:56Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳(メタデータ) (2022-01-19T14:15:41Z) - Evaluating Pretrained Transformer Models for Entity Linking in
Task-Oriented Dialog [1.4524096882720263]
我々は、テキストの短いフレーズを理解するために、異なる事前訓練されたトランスフォーマーモデル(PTM)を評価する。
PTMのいくつかは、従来の手法と比較してサブパー結果を生成する。
これらの欠点のいくつかは、テキスト類似性タスクのために微調整されたPTMを使用することで対処できる。
論文 参考訳(メタデータ) (2021-12-15T18:20:12Z) - RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。
本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。
評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
論文 参考訳(メタデータ) (2021-09-24T16:19:25Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文 参考訳(メタデータ) (2021-03-17T13:23:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。