論文の概要: Logically Consistent Language Models via Neuro-Symbolic Integration

• arxiv url: http://arxiv.org/abs/2409.13724v1
• Date: Mon, 9 Sep 2024 10:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:35:28.688883
• Title: Logically Consistent Language Models via Neuro-Symbolic Integration
• Title（参考訳）: ニューロ・シンボリック統合による論理的一貫性言語モデル
• Authors: Diego Calanzone, Stefano Teso, Antonio Vergari,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解と生成のための有望な場所である。 LLMは、非現実的な情報を生成し、世界の実体間の関係について推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが外部の事実や規則と論理的に整合していることを教える,ニューロシンボリック推論に基づく損失を導入する。
• 参考スコア（独自算出の注目度）: 14.317886666902822
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are a promising venue for natural language understanding and generation. However, current LLMs are far from reliable: they are prone to generating non-factual information and, more crucially, to contradicting themselves when prompted to reason about relations between entities of the world. These problems are currently addressed with large scale fine-tuning or by delegating reasoning to external tools. In this work, we strive for a middle ground and introduce a loss based on neuro-symbolic reasoning that teaches an LLM to be logically consistent with an external set of facts and rules and improves self-consistency even when the LLM is fine-tuned on a limited set of facts. Our approach also allows to easily combine multiple logical constraints at once in a principled way, delivering LLMs that are more consistent w.r.t. all constraints and improve over several baselines w.r.t. a given constraint. Moreover, our method allows LLMs to extrapolate to unseen but semantically similar factual knowledge, represented in unseen datasets, more systematically.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語の理解と生成のための有望な場所である。 しかし、現在のLLMは信頼性に欠けており、非現実的な情報を生成する傾向があり、より重要なことは、世界の実体間の関係について推論するよう促されたときに矛盾する。 これらの問題は、現在、大規模な微調整や、外部ツールへの推論の委譲によって対処されている。 本研究では,LLMが限られた事象に対して微調整されている場合でも,外的事実や規則の集合と論理的に整合性を示し,自己整合性を改善するニューロシンボリック推論に基づく損失を導入する。 このアプローチはまた、複数の論理的制約を原則的に一度に組み合わせることを可能にし、全ての制約に対してより一貫したLLMを提供し、与えられた制約に対していくつかのベースラインよりも改善する。 さらに,本手法では,LLMを非目で,意味的に類似した事実知識に外挿し,非目データセットで表現し,より体系的に表現することができる。

関連論文リスト

• RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
  本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。 我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
  論文  参考訳（メタデータ） (2024-11-04T00:01:34Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Aligning with Logic: Measuring, Evaluating and Improving Logical Consistency in Large Language Models [31.558429029429863]
  我々は,より信頼性が高く信頼性の高いシステムのための前提条件として,Large Language Models (LLM) の論理的一貫性について検討する。 まず、推移性、可換性、否定不変性という3つの基本的なプロキシを通して論理的一貫性を定量化する普遍的枠組みを提案する。 次に,LLMの定義値を用いて論理的整合性を評価し,総合的ロバスト性のための強力なプロキシとして機能できることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T04:34:04Z)
• Misinforming LLMs: vulnerabilities, challenges and opportunities [4.54019093815234]
  大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げているが、その基盤となるメカニズムはしばしば誤解されている。 本稿では,現在のLLMアーキテクチャは,単語埋め込みベクトルの逐次パターンの相関に依存するため,本質的に不確実であると主張している。 生成トランスフォーマーベースのモデルとファクトベースと論理プログラミング言語を組み合わせる研究は、信頼できるLLMの開発に繋がる可能性がある。
  論文  参考訳（メタデータ） (2024-08-02T10:35:49Z)
• Towards Logically Consistent Language Models via Probabilistic Reasoning [14.317886666902822]
  大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 LLMは、非現実的な情報を生成し、世界の信念を推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが事実やルールの集合という形で,外部知識と整合性を持つように教える学習目標を導入する。
  論文  参考訳（メタデータ） (2024-04-19T12:23:57Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Can LLMs Compute with Reasons? [4.995189458714599]
  大規模言語モデル(LLM)は複雑な数学的タスクに苦しむことが多く、誤った答えを「幻覚させる」傾向がある。 本研究では,Small LangSLMの分散ネットワークを利用した「帰納学習」手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T12:04:25Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。