論文の概要: A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2

• arxiv url: http://arxiv.org/abs/2603.19253v1
• Date: Wed, 25 Feb 2026 11:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.780684
• Title: A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2
• Title（参考訳）: LLMに基づく論法分類に関する総合的研究--LlamaからDeepSeekからGPT-5.2まで
• Authors: Marcin Pietroń, Filip Gampel, Jakub Gomułka, Andrzej Tomski, Rafał Olszowski,
• Abstract要約: 本研究では,いくつかの最先端の大規模言語モデル (LLM) の包括的評価を行う。 この評価には、チェーン・オブ・ソート・プロンプト、即興の言い直し、投票、確実性に基づく分類など、先進的なプロンプト戦略が組み込まれている。 最適性能モデル(GPT-5.2)は78.0%(UKP)と91.9%(Args.me)の分類精度を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Argument mining (AM) is an interdisciplinary research field focused on the automatic identification and classification of argumentative components, such as claims and premises, and the relationships between them. Recent advances in large language models (LLMs) have significantly improved the performance of argument classification compared to traditional machine learning approaches. This study presents a comprehensive evaluation of several state-of-the-art LLMs, including GPT-5.2, Llama 4, and DeepSeek, on large publicly available argument classification corpora such as Args.me and UKP. The evaluation incorporates advanced prompting strategies, including Chain-of- Thought prompting, prompt rephrasing, voting, and certainty-based classification. Both quantitative performance metrics and qualitative error analysis are conducted to assess model behavior. The best-performing model in the study (GPT-5.2) achieves a classification accuracy of 78.0% (UKP) and 91.9% (Args.me). The use of prompt rephrasing, multi-prompt voting, and certainty estimation further improves classification performance and robustness. These techniques increase the accuracy and F1 metric of the models by typically a few percentage points (from 2% to 8%). However, qualitative analysis reveals systematic failure modes shared across models, including instabilities with respect to prompt formulation, difficulties in detecting implicit criticism, interpreting complex argument structures, and aligning arguments with specific claims. This work contributes the first comprehensive evaluation that combines quantitative benchmarking and qualitative error analysis on multiple argument mining datasets using advanced LLM prompting strategies.
• Abstract（参考訳）: アーグメント・マイニング(Argument mining, AM)は、クレームや前提などの議論的コンポーネントの自動識別と分類とそれらの関係に焦点を当てた学際的な研究分野である。 大規模言語モデル(LLM)の最近の進歩は、従来の機械学習手法と比較して、引数分類の性能を大幅に改善している。 本研究は,GPT-5.2,Llama 4,DeepSeekを含むいくつかの最先端LLMを,Args.meやUKPなどの大規模公開可能な引数分類コーパス上で総合的に評価する。 この評価には、チェーン・オブ・ソート・プロンプト、即興の言い直し、投票、確実性に基づく分類など、先進的なプロンプト戦略が組み込まれている。 定量的な性能測定と定性的誤差解析の両方を行ない、モデルの挙動を評価する。 GPT-5.2では78.0%(UKP)と91.9%(Args.me)の分類精度が得られる。 迅速な言い換え、マルチプロンプト投票、確実性推定の使用により、分類性能と堅牢性はさらに向上する。 これらのテクニックは、モデルの精度とF1メトリックを、通常、2%から8%まで、いくつかのパーセンテージポイントで増加させる。 しかし、定性的な分析は、モデル間で共有される体系的な失敗モードを明らかにし、例えば、迅速な定式化に関する不安定性、暗黙的な批判の検出の困難さ、複雑な議論構造の解釈、特定の主張と引数の整合性などである。 この研究は、先進的なLSMプロンプト戦略を用いて、複数の引数マイニングデータセットにおける定量的ベンチマークと定性的エラー分析を組み合わせた、最初の総合的な評価に貢献する。

関連論文リスト

• A comprehensive study of LLM-based argument classification: from LLAMA through GPT-4o to Deepseek-R1 [0.0]
  大規模言語モデル(LLM)は、引数のセマンティクスの分析と抽出の効率を高めた。 本稿では,Args.me や UKP などの多種多様なデータセットを用いた LLM の選択について検討する。 その結果,ChatGPT-4oは引数分類ベンチマークで他よりも優れていた。
  論文  参考訳（メタデータ） (2025-07-11T14:23:40Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Efficient argument classification with compact language models and ChatGPT-4 refinements [0.0]
  本稿では,議論マイニングにおける深層学習モデルの比較研究について述べる。 本稿では,BERTアーキテクチャに基づくアンサンブルモデルと,微調整モデルとしてのChatGPT-4について述べる。 以上の結果から,BERT+ChatGPT-4は他のTransformerベースモデルやLSTMベースモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T16:24:10Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。