論文の概要: Towards Logically Consistent Language Models via Probabilistic Reasoning

• arxiv url: http://arxiv.org/abs/2404.12843v1
• Date: Fri, 19 Apr 2024 12:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 15:07:01.798780
• Title: Towards Logically Consistent Language Models via Probabilistic Reasoning
• Title（参考訳）: 確率論的推論による論理的一貫性言語モデルに向けて
• Authors: Diego Calanzone, Stefano Teso, Antonio Vergari,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 LLMは、非現実的な情報を生成し、世界の信念を推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが事実やルールの集合という形で,外部知識と整合性を持つように教える学習目標を導入する。
• 参考スコア（独自算出の注目度）: 14.317886666902822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are a promising venue for natural language understanding and generation tasks. However, current LLMs are far from reliable: they are prone to generate non-factual information and, more crucially, to contradict themselves when prompted to reason about beliefs of the world. These problems are currently addressed with large scale fine-tuning or by delegating consistent reasoning to external tools. In this work, we strive for a middle ground and introduce a training objective based on principled probabilistic reasoning that teaches a LLM to be consistent with external knowledge in the form of a set of facts and rules. Fine-tuning with our loss on a limited set of facts enables our LLMs to be more logically consistent than previous baselines and allows them to extrapolate to unseen but semantically similar factual knowledge more systematically.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 しかし、現在のLLMは信頼性に欠けており、非現実的な情報を生成する傾向にあり、より重要なことは、世界の信念を推論するよう促されたときに、自分自身を矛盾させる傾向がある。 これらの問題は現在、大規模な微調整や、外部ツールへの一貫した推論によって対処されている。 本研究は,中堅な分野を目指して,原則的確率論的推論に基づく学習目標を導入し,一組の事実と規則の形で,LLMが外部知識と整合性を持つように教える。 限られた事実の集合を微調整することで、LCMは以前のベースラインよりも論理的に一貫した状態になり、目に見えないが意味的に類似した事実知識を体系的に外挿することができる。

関連論文リスト

• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Rulebreakers Challenge: Revealing a Blind Spot in Large Language Models' Reasoning with Formal Logic [3.0648414540406703]
  本研究では,論理的含意が現実的に許容できる推論から分岐する事例を指す「ルールブレーカー(rulebreaker)」の概念を紹介する。 RULEBREAKERSは,ルールブレーカーと非ルールブレーカーを区別する大規模言語モデルの能力を評価するための新しいデータセットである。
  論文  参考訳（メタデータ） (2024-10-21T20:48:16Z)
• Logically Consistent Language Models via Neuro-Symbolic Integration [14.317886666902822]
  大規模言語モデル(LLM)は、自然言語の理解と生成のための有望な場所である。 LLMは、非現実的な情報を生成し、世界の実体間の関係について推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが外部の事実や規則と論理的に整合していることを教える,ニューロシンボリック推論に基づく損失を導入する。
  論文  参考訳（メタデータ） (2024-09-09T10:52:57Z)
• Misinforming LLMs: vulnerabilities, challenges and opportunities [4.54019093815234]
  大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げているが、その基盤となるメカニズムはしばしば誤解されている。 本稿では,現在のLLMアーキテクチャは,単語埋め込みベクトルの逐次パターンの相関に依存するため,本質的に不確実であると主張している。 生成トランスフォーマーベースのモデルとファクトベースと論理プログラミング言語を組み合わせる研究は、信頼できるLLMの開発に繋がる可能性がある。
  論文  参考訳（メタデータ） (2024-08-02T10:35:49Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
  我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。 RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。 複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
  論文  参考訳（メタデータ） (2022-12-31T22:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。