論文の概要: Argumentative Large Language Models for Explainable and Contestable Decision-Making
- arxiv url: http://arxiv.org/abs/2405.02079v2
- Date: Mon, 17 Feb 2025 15:05:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:06:54.117599
- Title: Argumentative Large Language Models for Explainable and Contestable Decision-Making
- Title(参考訳): 説明可能かつ証明可能な意思決定のための代名詞的大規模言語モデル
- Authors: Gabriel Freedman, Adam Dejl, Deniz Gorur, Xiang Yin, Antonio Rago, Francesca Toni,
- Abstract要約: 本稿では,議論的推論を用いた大規模言語モデルの拡張手法であるArgLLMsを紹介する。
ArgLLMsは議論フレームワークを構築し、意思決定を支援するための公式な推論の基礎となる。
我々はArgLLMsの性能を最先端技術と比較して実験的に評価した。
- 参考スコア(独自算出の注目度): 13.045050015831903
- License:
- Abstract: The profusion of knowledge encoded in large language models (LLMs) and their ability to apply this knowledge zero-shot in a range of settings makes them promising candidates for use in decision-making. However, they are currently limited by their inability to provide outputs which can be faithfully explained and effectively contested to correct mistakes. In this paper, we attempt to reconcile these strengths and weaknesses by introducing \emph{argumentative LLMs (ArgLLMs)}, a method for augmenting LLMs with argumentative reasoning. Concretely, ArgLLMs construct argumentation frameworks, which then serve as the basis for formal reasoning in support of decision-making. The interpretable nature of these argumentation frameworks and formal reasoning means that any decision made by ArgLLMs may be explained and contested. We evaluate ArgLLMs' performance experimentally in comparison with state-of-the-art techniques, in the context of the decision-making task of claim verification. We also define novel properties to characterise contestability and assess ArgLLMs formally in terms of these properties.
- Abstract(参考訳): 大規模言語モデル(LLM)に符号化された知識の拡散と、この知識を様々な設定でゼロショットで適用できる能力により、意思決定に使える候補が期待できる。
しかし、現時点では、間違いを正すために忠実に説明され、効果的に競合するアウトプットを提供することができないため、制限されている。
本稿では,これらの長所と短所を,議論的推論でLLMを増強する手法である \emph{argumentative LLMs (ArgLLMs)} を導入して整合しようとする。
具体的には、ArgLLMsは議論フレームワークを構築し、意思決定を支援するための公式な推論の基礎となる。
これらの議論フレームワークと形式的推論の解釈可能な性質は、ArgLLMsによる決定が説明され、議論される可能性があることを意味する。
クレーム検証の意思決定タスクの文脈において,ArgLLMsの性能を最先端技術と比較して実験的に評価した。
また、競争性を特徴づける新しい性質を定義し、これらの性質の点からArgLLMsを正式に評価する。
関連論文リスト
- Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。
既存の評価は最終的な成功率にのみ依存する傾向がある。
本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文 参考訳(メタデータ) (2024-10-09T17:59:00Z) - Alignment Between the Decision-Making Logic of LLMs and Human Cognition: A Case Study on Legal LLMs [43.67312098562139]
本稿では,大規模言語モデルの意思決定ロジックと人間の認知との整合性を評価する手法を提案する。
我々は、LLMによって符号化された相互作用を原始的な決定論理として定量化する。
実験により、言語生成結果が正しいように見える場合でも、内部推論ロジックのかなりの部分が顕著な問題を含んでいることが示された。
論文 参考訳(メタデータ) (2024-10-06T08:33:39Z) - Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。
しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。
このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。
モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
論文 参考訳(メタデータ) (2024-09-04T13:17:09Z) - Can formal argumentative reasoning enhance LLMs performances? [0.3659498819753633]
本稿では,Large Language Models (LLM) の性能に及ぼす計算論証セマンティクスの導入効果を評価するパイプライン (MQArgEng) を提案する。
調査の結果、MQArgEngは、調査対象のトピックのカテゴリの大部分で適度なパフォーマンス向上をもたらし、将来性を示し、さらなる研究を保証していることが示された。
論文 参考訳(メタデータ) (2024-05-16T22:09:31Z) - Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。
また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
論文 参考訳(メタデータ) (2024-04-19T15:53:27Z) - Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement [5.108863224378874]
本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。
本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。
経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
論文 参考訳(メタデータ) (2024-02-01T16:39:51Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。
本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-18T18:10:02Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。