論文の概要: Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement
- arxiv url: http://arxiv.org/abs/2402.00745v1
- Date: Thu, 1 Feb 2024 16:39:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:23:04.361395
- Title: Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement
- Title(参考訳): 反復的記号的改良による大規模言語モデルの倫理的説明
- Authors: Xin Quan, Marco Valentino, Louise A. Dennis, Andr\'e Freitas
- Abstract要約: 本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。
本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。
経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
- 参考スコア(独自算出の注目度): 5.108863224378874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An increasing amount of research in Natural Language Inference (NLI) focuses
on the application and evaluation of Large Language Models (LLMs) and their
reasoning capabilities. Despite their success, however, LLMs are still prone to
factual errors and inconsistencies in their explanations, offering limited
control and interpretability for inference in complex domains. In this paper,
we focus on ethical NLI, investigating how hybrid neuro-symbolic techniques can
enhance the logical validity and alignment of ethical explanations produced by
LLMs. Specifically, we present an abductive-deductive framework named
Logic-Explainer, which integrates LLMs with an external backward-chaining
solver to refine step-wise natural language explanations and jointly verify
their correctness, reduce incompleteness and minimise redundancy. An extensive
empirical analysis demonstrates that Logic-Explainer can improve explanations
generated via in-context learning methods and Chain-of-Thought (CoT) on
challenging ethical NLI tasks, while, at the same time, producing formal proofs
describing and supporting models' reasoning. As ethical NLI requires
commonsense reasoning to identify underlying moral violations, our results
suggest the effectiveness of neuro-symbolic methods for multi-step NLI more
broadly, opening new opportunities to enhance the logical consistency,
reliability, and alignment of LLMs.
- Abstract(参考訳): 自然言語推論(nli)の研究の増大は、大規模言語モデル(llm)とその推論能力の応用と評価に焦点を当てている。
しかし、それらの成功にもかかわらず、LLMは、複雑な領域における推論に対する限定的な制御と解釈性を提供しながら、その説明において事実上の誤りや矛盾を生じやすい。
本稿では,LLMが生み出す倫理的説明の論理的妥当性とアライメントを高めるために,ハイブリッド・ニューロシンボリック・テクニックがいかに有効かを検討する。
具体的には,段階的な自然言語説明を洗練し,その正確性,不完全性,冗長性を最小限に抑えるために,llmと外部の後方連鎖型解法を統合した帰納的推論フレームワークであるlogic-explainerを提案する。
大規模な実証分析により、Logic-Explainerは、倫理的NLIの課題に挑戦する上で、文脈内学習法やCoT(Chain-of-Thought)を通じて生成された説明を改善すると同時に、モデルの推論を記述し支援する公式な証明を生成することができることを示した。
倫理的NLIは、モラル違反を特定するためにコモンセンス推論を必要とするため、我々は多段階NLIに対する神経象徴的手法の有効性をより広く示唆し、LLMの論理的整合性、信頼性、整合性を高める新たな機会を開く。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - A Closer Look at the Self-Verification Abilities of Large Language
Models in Logical Reasoning [79.14479982371984]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of
Language Models with Hypothesis Refinement [95.10400704620797]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。