論文の概要: Measuring and Improving Persuasiveness of Generative Models

• arxiv url: http://arxiv.org/abs/2410.02653v1
• Date: Sun, 6 Oct 2024 04:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:52:35.801315
• Title: Measuring and Improving Persuasiveness of Generative Models
• Title（参考訳）: 生成モデルの説得性の測定と改善
• Authors: Somesh Singh, Yaman K Singla, Harini SI, Balaji Krishnamurthy,
• Abstract要約: 本稿ではPersuasionBenchとPersuasionArenaを紹介し,生成モデルの説得性を自動測定する。 我々の発見は、モデル開発者と政策立案者の両方にとって重要な意味を持つ。
• 参考スコア（独自算出の注目度）: 12.134372070736596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are increasingly being used in workflows involving generating content to be consumed by humans (e.g., marketing) and also in directly interacting with humans (e.g., through chatbots). The development of such systems that are capable of generating verifiably persuasive messages presents both opportunities and challenges for society. On the one hand, such systems could positively impact domains like advertising and social good, such as addressing drug addiction, and on the other, they could be misused for spreading misinformation and shaping political opinions. To channel LLMs' impact on society, we need to develop systems to measure and benchmark their persuasiveness. With this motivation, we introduce PersuasionBench and PersuasionArena, the first large-scale benchmark and arena containing a battery of tasks to measure the persuasion ability of generative models automatically. We investigate to what extent LLMs know and leverage linguistic patterns that can help them generate more persuasive language. Our findings indicate that the persuasiveness of LLMs correlates positively with model size, but smaller models can also be made to have a higher persuasiveness than much larger models. Notably, targeted training using synthetic and natural datasets significantly enhances smaller models' persuasive capabilities, challenging scale-dependent assumptions. Our findings carry key implications for both model developers and policymakers. For instance, while the EU AI Act and California's SB-1047 aim to regulate AI models based on the number of floating point operations, we demonstrate that simple metrics like this alone fail to capture the full scope of AI's societal impact. We invite the community to explore and contribute to PersuasionArena and PersuasionBench, available at https://bit.ly/measure-persuasion, to advance our understanding of AI-driven persuasion and its societal implications.
• Abstract（参考訳）: LLMは、人間(例えばマーケティング)が消費するコンテンツを生成するワークフローや、人間(例えばチャットボット)と直接対話するワークフローで、ますます使われている。 確実な説得力のあるメッセージを生成することができるシステムの開発は、社会にとっての機会と課題の両方を提示する。 一方、こうした制度は、薬物依存に対処するなど、広告や社会的善悪などの領域に積極的に影響を及ぼす可能性があり、また、誤った情報を広め、政治的意見を形成するために誤用される可能性もある。 LLMが社会に与える影響を明らかにするためには,その説得力を計測し,評価するシステムを開発する必要がある。 このモチベーションを生かしたPersuasionBenchとPersuasionArenaは,生成モデルの説得能力を自動的に測定するタスクのバッテリを含む,最初の大規模ベンチマークとアリーナである。 我々は,LLMが言語パターンをどのように理解し,より説得力のある言語を生成するのに役立つかを検討する。 以上の結果から, LLMの説得性はモデルサイズと正の相関がみられたが, より小型のモデルでは, より大きなモデルよりも高い説得性が得られることが示唆された。 特に、合成および自然なデータセットを使用したターゲットトレーニングは、より小さなモデルの説得能力を著しく向上させ、スケール依存の仮定に挑戦する。 我々の発見は、モデル開発者と政策立案者の両方にとって重要な意味を持つ。 例えば、EU AI ActとカリフォルニアのSB-1047は、浮動小数点演算の数に基づいてAIモデルを規制することを目的としていますが、このような単純なメトリクスだけでは、AIの社会的影響の全範囲を捉えられません。 私たちはコミュニティに、AI駆動の説得とその社会的意味についての理解を深めるために、https://bit.ly/measure-peruasionで入手可能なPersuasionArenaとPersuasionBenchを探求し、貢献するよう呼びかけます。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI [67.58673784790375]
  AIパラダイムは、科学的に脆弱なだけでなく、望ましくない結果をもたらすものだ、と私たちは主張する。 第一に、計算要求がモデルの性能よりも早く増加し、不合理な経済要求と不均等な環境フットプリントにつながるため、持続可能ではない。 第二に、健康、教育、気候などの重要な応用は別として、他人を犠牲にして特定の問題に焦点をあてることである。
  論文  参考訳（メタデータ） (2024-09-21T14:43:54Z)
• Persuasion Games using Large Language Models [0.0]
  大型言語モデル (LLM) は、人間のような文章を解釈し、生成することのできる、恐ろしい道具として登場した。 本稿では,LCMがユーザ視点を形作り,その決定を特定のタスクに影響を及ぼす可能性について考察する。 この機能は、投資、クレジットカード、保険など、さまざまな分野のアプリケーションを見つける。
  論文  参考訳（メタデータ） (2024-08-28T15:50:41Z)
• Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language [41.052284715017606]
  本研究では,Large Language Models (LLM) の説得的テキスト生成能力について検討する。 特定のドメインやタイプの説得に焦点を当てた先行研究とは対照的に、諸藩をまたいだ総合的研究を行う。 我々は、短いテキストのペア対からなる新しいデータセットPersuasive-Pairを構築し、LLMによって書き直され、説得言語を増幅または縮小する。
  論文  参考訳（メタデータ） (2024-06-25T17:40:47Z)
• Position Paper: Agent AI Towards a Holistic Intelligence [53.35971598180146]
  エージェントAI - 大きな基盤モデルをエージェントアクションに統合する具体的システム。 本稿では,エージェント・ファウンデーション・モデル(エージェント・ファウンデーション・モデル)を提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:09:56Z)
• Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation through the Lens of News Headline Generation [58.31430028519306]
  本研究は, LLMを書き込みに最も有効に活用する方法と, これらのモデルとのインタラクションが, 書き込みプロセスにおけるオーナシップや信頼感にどのように影響するかを考察する。 LLMだけで十分なニュースの見出しを生成することができるが、平均すると、望ましくないモデルのアウトプットを修正するには人間による制御が必要である。
  論文  参考訳（メタデータ） (2023-10-16T15:11:01Z)
• Factuality Challenges in the Era of Large Language Models [113.3282633305118]
  大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-08T14:55:02Z)
• Voluminous yet Vacuous? Semantic Capital in an Age of Large Language Models [0.0]
  大きな言語モデル(LLM)は、自然言語処理の領域において変換力として出現し、人間のようなテキストを生成する力を持つ。 本稿では、これらのモデルの進化、能力、限界について考察し、それらが引き起こす倫理的懸念を強調した。
  論文  参考訳（メタデータ） (2023-05-29T09:26:28Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。