論文の概要: Teaching Probabilistic Logical Reasoning to Transformers

• arxiv url: http://arxiv.org/abs/2305.13179v1
• Date: Mon, 22 May 2023 16:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:38:00.865539
• Title: Teaching Probabilistic Logical Reasoning to Transformers
• Title（参考訳）: 変圧器に確率論的論理推論を教える
• Authors: Aliakbar Nafar, Kristen Brent Venable, Parisa Kordjamshidi
• Abstract要約: 本稿では,トランスフォーマーに基づく言語モデルにおける確率論的論理則の利用について分析する。 我々は、不確実なテキスト規則よりも確率論的推論を評価するための新しいQAベンチマークを作成する。
• 参考スコア（独自算出の注目度）: 20.630233471579874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research on transformer-based language models investigates their reasoning ability over logical rules expressed in natural language text. However, their logic is not yet well-understood as we cannot explain the abstractions made by the models that help them in reasoning. These models are criticized for merely memorizing complex patterns in the data, which often creates issues for their generalizability in unobserved situations. In this work, we analyze the use of probabilistic logical rules in transformer-based language models. In particular, we propose a new approach, Probabilistic Constraint Training (PCT), that explicitly models probabilistic logical reasoning by imposing the rules of reasoning as constraints during training. We create a new QA benchmark for evaluating probabilistic reasoning over uncertain textual rules, which creates instance-specific rules, unlike the only existing relevant benchmark. Experimental results show that our proposed technique improves the base language models' accuracy and explainability when probabilistic logical reasoning is required for question answering. Moreover, we show that the learned probabilistic reasoning abilities are transferable to novel situations.
• Abstract（参考訳）: 最近のトランスフォーマーに基づく言語モデルの研究は、自然言語テキストで表現される論理規則よりも推論能力が高い。 しかし、それらの論理はまだ十分に理解されていないため、推論の助けとなるモデルによってなされる抽象化を説明することはできない。 これらのモデルは、単にデータの複雑なパターンを記憶しているだけであると批判されている。 本研究では,トランスフォーマティブ言語モデルにおける確率論的論理規則の利用について分析する。 特に,確率的制約トレーニング(probabilistic constraints training, pct)という新しい手法を提案する。 我々は、不確実なテキスト規則よりも確率論的推論を評価するための新しいQAベンチマークを作成します。 提案手法は,質問応答に確率的論理推論が必要な場合に,基礎言語モデルの精度と説明可能性を向上させる。 さらに,学習した確率的推論能力が新たな状況に移行可能であることを示す。

関連論文リスト

• Benchmarking Defeasible Reasoning with Large Language Models -- Initial Experiments and Future Directions [0.36868085124383626]
  本稿では,様々なデファシブルなルールベースの推論パターンに対応するベンチマークを提案する。 我々は、デファシブルなルールを大規模言語モデルに適したテキストに変換することで、デファシブルな論理推論のための既存のベンチマークを修正した。 そこで我々は,ChatGPTを用いた非単調な規則に基づく推論の予備実験を行い,デファジブル論理で定義された推論パターンと比較した。
  論文  参考訳（メタデータ） (2024-10-16T12:36:23Z)
• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• Scaling Synthetic Logical Reasoning Datasets with Context-Sensitive Declarative Grammars [0.6537995248511139]
  複数の言語を結合するフレキシブルなコンテキスト依存ルールを持つ宣言型フレームワークを提案する。 最大32の前提と1つの仮説を選択して一階述語論理問題を構築する。 生成中の意味的制約と述語に対する注意深い英語の動詞化は、自然な英語のタスクを損なうことなく論理的推論を促進することを実証する。
  論文  参考訳（メタデータ） (2024-06-16T18:10:49Z)
• How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
  特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。 実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? [25.43442712037725]
  本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。 本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。 本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-24T06:48:56Z)
• Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog [1.4524096882720263]
  我々は、テキストの短いフレーズを理解するために、異なる事前訓練されたトランスフォーマーモデル(PTM)を評価する。 PTMのいくつかは、従来の手法と比較してサブパー結果を生成する。 これらの欠点のいくつかは、テキスト類似性タスクのために微調整されたPTMを使用することで対処できる。
  論文  参考訳（メタデータ） (2021-12-15T18:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。