論文の概要: Teaching Probabilistic Logical Reasoning to Transformers
- arxiv url: http://arxiv.org/abs/2305.13179v2
- Date: Fri, 9 Feb 2024 17:29:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 21:08:18.814088
- Title: Teaching Probabilistic Logical Reasoning to Transformers
- Title(参考訳): 変圧器に確率論的論理推論を教える
- Authors: Aliakbar Nafar, Kristen Brent Venable, Parisa Kordjamshidi
- Abstract要約: 本研究では,不確実なテキストに対する推論において,トランスフォーマーに基づく言語モデルの有効性を評価する。
本稿では,確率的制約学習という,エンドツーエンドのファインチューニング手法を提案する。
- 参考スコア(独自算出の注目度): 21.335836561959887
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we evaluate the capability of transformer-based language
models in making inferences over uncertain text that includes uncertain rules
of reasoning. We cover both Pre-trained Language Models (PLMs) and generative
Large Language Models (LLMs). Our evaluation results show that both generations
of language models struggle with reasoning over uncertain text. We propose a
novel end-to-end fine-tuning approach, Probabilistic Constraint Training (PCT),
that utilizes probabilistic logical rules as constraints in the fine-tuning
phase without relying on these rules in the inference stage. To assess the
effectiveness of PCT, we utilize the related corpora and, additionally, create
a new and more challenging benchmark that, unlike the previous ones, uses
instance-specific rules. Our study demonstrates that PCT improves the
transformer-based language model's intrinsic reasoning and makes their
probabilistic logical reasoning process more explicit and explainable.
Furthermore, PCT equips these models to effectively handle novel situations,
including higher reasoning depth, new domains, and complex probabilistic
structures.
- Abstract(参考訳): 本稿では,不確定な推論規則を含む不確定なテキストに対する推論を行う際に,トランスフォーマティブ言語モデルの能力を評価する。
予備学習型言語モデル (PLM) と生成型大規模言語モデル (LLM) の両方をカバーする。
評価結果は,両世代の言語モデルが不確実なテキストの推論に苦慮していることを示している。
提案手法は,確率論的論理則を推論段階におけるこれらの規則に頼ることなく,微調整段階における制約として利用する。
PCTの有効性を評価するために、関連するコーパスを利用し、さらに、従来と異なりインスタンス固有のルールを使用する新しい、より困難なベンチマークを作成する。
本研究は,pctがトランスフォーマティブ言語モデルの内在的推論を改善し,その確率論的論理推論プロセスをより明確かつ説明可能にしていることを示す。
さらに、PCTはこれらのモデルを備えて、より高い推論深度、新しいドメイン、複雑な確率構造など、新しい状況を効果的に扱う。
関連論文リスト
- Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Can Unsupervised Knowledge Transfer from Social Discussions Help
Argument Mining? [25.43442712037725]
本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。
本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。
本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
論文 参考訳(メタデータ) (2022-03-24T06:48:56Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳(メタデータ) (2022-01-19T14:15:41Z) - Evaluating Pretrained Transformer Models for Entity Linking in
Task-Oriented Dialog [1.4524096882720263]
我々は、テキストの短いフレーズを理解するために、異なる事前訓練されたトランスフォーマーモデル(PTM)を評価する。
PTMのいくつかは、従来の手法と比較してサブパー結果を生成する。
これらの欠点のいくつかは、テキスト類似性タスクのために微調整されたPTMを使用することで対処できる。
論文 参考訳(メタデータ) (2021-12-15T18:20:12Z) - RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。
本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。
評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
論文 参考訳(メタデータ) (2021-09-24T16:19:25Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - SML: a new Semantic Embedding Alignment Transformer for efficient
cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。
nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。
本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文 参考訳(メタデータ) (2021-03-17T13:23:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。