論文の概要: A Logical Fallacy-Informed Framework for Argument Generation

• arxiv url: http://arxiv.org/abs/2408.03618v2
• Date: Sat, 12 Oct 2024 13:49:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 12:33:46.883652
• Title: A Logical Fallacy-Informed Framework for Argument Generation
• Title（参考訳）: 論証生成のための論理的誤り表現型フレームワーク
• Authors: Luca Mouchel, Debjit Paul, Shaobo Cui, Robert West, Antoine Bosselut, Boi Faltings,
• Abstract要約: FIPOは、大規模言語モデルを論理的に健全な議論に導いてくれる、誤用インフォームドフレームワークである。 議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。 私たちのコードは alucamouchel.com/lucamouchel/Logical-Fallacies で利用可能です。
• 参考スコア（独自算出の注目度）: 34.35377699079075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable performance of Large Language Models (LLMs) in natural language processing tasks, they still struggle with generating logically sound arguments, resulting in potential risks such as spreading misinformation. To address this issue, we introduce FIPO, a fallacy-informed framework that leverages preference optimization methods to steer LLMs toward logically sound arguments. FIPO includes a classification loss, to capture the fine-grained information on fallacy types. Our results on argumentation datasets show that our method reduces the fallacy errors by up to 17.5%. Furthermore, our human evaluation results indicate that the quality of the generated arguments by our method significantly outperforms the fine-tuned baselines, as well as other preference optimization methods, such as DPO. These findings highlight the importance of ensuring models are aware of logical fallacies for effective argument generation. Our code is available at github.com/lucamouchel/Logical-Fallacies.
• Abstract（参考訳）: 自然言語処理タスクにおけるLarge Language Models(LLM)の顕著なパフォーマンスにもかかわらず、彼らは論理的に健全な引数の生成に苦慮し、誤報の拡散などの潜在的なリスクをもたらす。 この問題に対処するために,LLMを論理的に健全な議論に向かわせるために,好み最適化手法を活用する誤検出インフォームドフレームワークであるFIPOを導入する。 FIPOには分類損失が含まれており、誤用タイプに関するきめ細かい情報をキャプチャする。 議論データセットの結果から,提案手法は誤り率を最大17.5%削減することを示した。 さらに,提案手法により生成した議論の質は,DPOなどの選好最適化手法と同様に,微調整ベースラインよりも優れていた。 これらの知見は、効果的な議論生成のための論理的誤りをモデルが認識することの重要性を強調している。 私たちのコードはgithub.com/lucamouchel/Logical-Fallaciesで利用可能です。

関連論文リスト

• Are LLMs Good Zero-Shot Fallacy Classifiers? [24.3005882003251]
  ゼロショット誤字分類にLarge Language Models(LLM)を活用することに注力する。 ベンチマークデータセットに関する総合的な実験により、LLMはゼロショット誤り分類器となる可能性が示唆された。 我々の新しいマルチラウンドプロンプト方式は、特に小型LLMにおいて、効果的にさらなる改善をもたらすことができる。
  論文  参考訳（メタデータ） (2024-10-19T09:38:55Z)
• Flee the Flaw: Annotating the Underlying Logic of Fallacious Arguments Through Templates and Slot-filling [15.339084849719223]
  一般的な非公式な論理的誤字に対して、説明可能なテンプレートを4つ導入する。 LOGICデータセットから抽出した400の誤った議論に対して注釈研究を行う。 我々は、最先端の言語モデルが誤検出テンプレートの発見に苦労していることを発見した。
  論文  参考訳（メタデータ） (2024-06-18T08:44:45Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection [45.28949266878263]
  本研究では,自然言語を一階論理に変換することによって,論理的誤りを確実に検出する手法を設計する。 次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論する。 私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
  論文  参考訳（メタデータ） (2024-04-18T00:20:48Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Case-Based Reasoning with Language Models for Classification of Logical Fallacies [3.511369967593153]
  本稿では,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。 本実験は,ケースベース推論が言語モデルの精度と一般化性を向上させることを示唆している。
  論文  参考訳（メタデータ） (2023-01-27T17:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。