論文の概要: Can Language Models Recognize Convincing Arguments?

• arxiv url: http://arxiv.org/abs/2404.00750v1
• Date: Sun, 31 Mar 2024 17:38:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 02:01:08.988125
• Title: Can Language Models Recognize Convincing Arguments?
• Title（参考訳）: 言語モデルは問題を理解することができるか?
• Authors: Paula Rescala, Manoel Horta Ribeiro, Tiancheng Hu, Robert West,
• Abstract要約: 大規模言語モデル(LLM)は、パーソナライズされ説得力のある誤情報やプロパガンダを作成するために、その潜在的な誤用を懸念している。 疑わしい議論を検出するための関連課題について,その性能について検討する。 これらのタスクにおいて、LLMは人間と同等に動作し、異なるLLMからの予測を組み合わせることで、大幅な性能向上が得られることを示す。
• 参考スコア（独自算出の注目度）: 12.458437450959416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable and ever-increasing capabilities of Large Language Models (LLMs) have raised concerns about their potential misuse for creating personalized, convincing misinformation and propaganda. To gain insights into LLMs' persuasive capabilities without directly engaging in experimentation with humans, we propose studying their performance on the related task of detecting convincing arguments. We extend a dataset by Durmus & Cardie (2018) with debates, votes, and user traits and propose tasks measuring LLMs' ability to (1) distinguish between strong and weak arguments, (2) predict stances based on beliefs and demographic characteristics, and (3) determine the appeal of an argument to an individual based on their traits. We show that LLMs perform on par with humans in these tasks and that combining predictions from different LLMs yields significant performance gains, even surpassing human performance. The data and code released with this paper contribute to the crucial ongoing effort of continuously evaluating and monitoring the rapidly evolving capabilities and potential impact of LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の目覚ましい能力は、パーソナライズされ、説得力のある誤情報やプロパガンダを作成するために、その潜在的な誤用を懸念している。 そこで本研究では,人間と直接的に実験を行うことなく,LLMの説得能力に関する知見を得るために,説得的議論を検出するための関連課題について,その性能について検討する。 We extended a dataset by Durmus & Cardie (2018) with debates, vote, and user traits and propose task to measure LLMs's ability between strong and weak arguments, (2) predicts based on beliefs and population characteristics, and (3) determine the appeal of an argument to an individual baseds based on their traits。 これらの課題において、LLMは人間と同等の性能を示し、異なるLLMからの予測を組み合わせることで、人のパフォーマンスを超越しても、大きな性能向上が得られることを示した。 本稿では, LLMの急速な発展と潜在的な影響を継続的に評価し, 監視する重要な取り組みに寄与する。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• Can formal argumentative reasoning enhance LLMs performances? [0.3659498819753633]
  本稿では,Large Language Models (LLM) の性能に及ぼす計算論証セマンティクスの導入効果を評価するパイプライン (MQArgEng) を提案する。 調査の結果、MQArgEngは、調査対象のトピックのカテゴリの大部分で適度なパフォーマンス向上をもたらし、将来性を示し、さらなる研究を保証していることが示された。
  論文  参考訳（メタデータ） (2024-05-16T22:09:31Z)
• Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions? [59.0123596591807]
  我々は、ペルソナ駆動意思決定におけるLarge Language Models(LLM)の能力をベンチマークする。 高品質な小説において, LLM が先行する物語のキャラクターの判断を予測できるかどうかを検討する。 その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は残されている。
  論文  参考訳（メタデータ） (2024-04-18T12:40:59Z)
• Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
  大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。 本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
  論文  参考訳（メタデータ） (2024-04-14T19:01:20Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Limits of Large Language Models in Debating Humans [0.0]
  大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。 本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
  論文  参考訳（メタデータ） (2024-02-06T03:24:27Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs [0.0]
  本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。 その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-22T22:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。