論文の概要: Can Language Models Recognize Convincing Arguments?

• arxiv url: http://arxiv.org/abs/2404.00750v2
• Date: Thu, 03 Oct 2024 21:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 18:20:30.360802
• Title: Can Language Models Recognize Convincing Arguments?
• Title（参考訳）: 言語モデルは問題を理解することができるか?
• Authors: Paula Rescala, Manoel Horta Ribeiro, Tiancheng Hu, Robert West,
• Abstract要約: 大規模言語モデル(LLM)は、説得力のある物語を創造し広める可能性について懸念を提起している。 本研究は、説得力のある議論を検知し、その説得力に関する洞察を得るための性能について研究する。
• 参考スコア（独自算出の注目度）: 12.458437450959416
• License:
• Abstract: The capabilities of large language models (LLMs) have raised concerns about their potential to create and propagate convincing narratives. Here, we study their performance in detecting convincing arguments to gain insights into LLMs' persuasive capabilities without directly engaging in experimentation with humans. We extend a dataset by Durmus and Cardie (2018) with debates, votes, and user traits and propose tasks measuring LLMs' ability to (1) distinguish between strong and weak arguments, (2) predict stances based on beliefs and demographic characteristics, and (3) determine the appeal of an argument to an individual based on their traits. We show that LLMs perform on par with humans in these tasks and that combining predictions from different LLMs yields significant performance gains, surpassing human performance. The data and code released with this paper contribute to the crucial effort of continuously evaluating and monitoring LLMs' capabilities and potential impact. (https://go.epfl.ch/persuasion-llm)
• Abstract（参考訳）: 大きな言語モデル(LLM)の能力は、説得力のある物語を創造し、広める可能性を懸念している。 そこで本研究では,人間と直接的に実験を行うことなく,説得力のある議論を検知し,LLMの説得能力に関する洞察を得る能力について検討する。 We extended a dataset by Durmus and Cardie (2018) with debates, vote, and user traits and propose task to measure LLMs's ability between strong and weak arguments, (2) predict stances based on beliefs and population characteristics, and (3) determine the appeal of an argument to an individual baseds based on their traits。 これらの課題において、LLMは人間と同等の性能を示し、異なるLLMからの予測を組み合わせることで、人間のパフォーマンスを上回る大きなパフォーマンス向上が得られることを示す。 本稿では,LSMの能力と潜在的な影響を継続的に評価し,監視する上で,重要な取り組みに寄与する。 (https://go.epfl.ch/persuasion-llm)

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• Can formal argumentative reasoning enhance LLMs performances? [0.3659498819753633]
  本稿では,Large Language Models (LLM) の性能に及ぼす計算論証セマンティクスの導入効果を評価するパイプライン (MQArgEng) を提案する。 調査の結果、MQArgEngは、調査対象のトピックのカテゴリの大部分で適度なパフォーマンス向上をもたらし、将来性を示し、さらなる研究を保証していることが示された。
  論文  参考訳（メタデータ） (2024-05-16T22:09:31Z)
• Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions? [59.0123596591807]
  我々は、ペルソナ駆動意思決定におけるLarge Language Models(LLM)の能力をベンチマークする。 高品質な小説において, LLM が先行する物語のキャラクターの判断を予測できるかどうかを検討する。 その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は残されている。
  論文  参考訳（メタデータ） (2024-04-18T12:40:59Z)
• Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
  大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。 本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
  論文  参考訳（メタデータ） (2024-04-14T19:01:20Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Limits of Large Language Models in Debating Humans [0.0]
  大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。 本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
  論文  参考訳（メタデータ） (2024-02-06T03:24:27Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs [0.0]
  本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。 その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-22T22:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。