論文の概要: Evidence of a log scaling law for political persuasion with large language models

• arxiv url: http://arxiv.org/abs/2406.14508v1
• Date: Thu, 20 Jun 2024 17:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 12:33:17.519557
• Title: Evidence of a log scaling law for political persuasion with large language models
• Title（参考訳）: 大規模言語モデルを用いた政治的説得のためのログスケーリング法の実証
• Authors: Kobi Hackenburg, Ben M. Tappin, Paul Röttger, Scott Hale, Jonathan Bright, Helen Margetts,
• Abstract要約: 大規模な言語モデルは、人間によって書かれたものと同じくらい説得力のある政治的メッセージを生成することができる。 数桁の大きさの24の言語モデルから、米国の政治問題10件について、説得力のあるメッセージ720件を生成します。 モデル説得性は、急激に減少するリターンによって特徴づけられる。
• 参考スコア（独自算出の注目度）: 3.137594944904106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can now generate political messages as persuasive as those written by humans, raising concerns about how far this persuasiveness may continue to increase with model size. Here, we generate 720 persuasive messages on 10 U.S. political issues from 24 language models spanning several orders of magnitude in size. We then deploy these messages in a large-scale randomized survey experiment (N = 25,982) to estimate the persuasive capability of each model. Our findings are twofold. First, we find evidence of a log scaling law: model persuasiveness is characterized by sharply diminishing returns, such that current frontier models are barely more persuasive than models smaller in size by an order of magnitude or more. Second, mere task completion (coherence, staying on topic) appears to account for larger models' persuasive advantage. These findings suggest that further scaling model size will not much increase the persuasiveness of static LLM-generated messages.
• Abstract（参考訳）: 大規模な言語モデルでは、人間が書いたものと同じくらい説得力のある政治メッセージを生成できるようになった。 ここでは、数桁の大きさの24の言語モデルから、米国の政治問題10件について、説得力のあるメッセージ720件を生成します。 次に、これらのメッセージを大規模ランダム化調査実験(N = 25982)に展開し、各モデルの説得能力を推定する。 私たちの発見は2つあります。 モデル説得性は、現在のフロンティアモデルは、大きさの小さいモデルよりも桁違いに小さいモデルよりもほとんど説得力がないような、急激なリターンの減少によって特徴づけられる。 第二に、単にタスク完了(コヒーレンス、トピックに留まる)は、より大きなモデルの説得力のある利点を考慮に入れているように見える。 これらの結果から,さらなるスケーリングモデルサイズは,静的LLM生成メッセージの説得力を大きくするものではないことが示唆された。

関連論文リスト

• Measuring and Improving Persuasiveness of Large Language Models [12.134372070736596]
  本稿ではPersuasionBenchとPersuasionArenaを紹介し,生成モデルの説得性を自動測定する。 我々の発見は、モデル開発者と政策立案者の両方にとって重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-10-03T16:36:35Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• Rarely a problem? Language models exhibit inverse scaling in their predictions following few-type quantifiers [0.6091702876917281]
  言語モデルにおいて特に課題となる「おもちゃのような2人の子供」のような「2つの」型の量化器に焦点をあてる。 人間の2つの神経言語実験から、異なる大きさの22個の自己回帰トランスフォーマーモデルまで、960の英語文刺激を提示する。
  論文  参考訳（メタデータ） (2022-12-16T20:01:22Z)
• Understanding How Model Size Affects Few-shot Instruction Prompting [0.0]
  モデルのサイズが与えられた文脈における単語の意味を識別するモデルの能力にどのように影響するかを検討する。 我々はDeltaWordsと呼ばれるデータセットを導入し、モデルが指示に従う能力を評価する。 モデルのサイズが大きくなるにつれてタスクの精度が低下する、弱い逆スケーリング傾向を示す。
  論文  参考訳（メタデータ） (2022-12-04T19:59:52Z)
• Emergent Abilities of Large Language Models [172.08007363384218]
  より小さなモデルには存在しないが、より大きなモデルには存在しない場合、創発する能力を考える。 このような出現の存在は、さらなるスケーリングが言語モデルの機能範囲をさらに拡大することを意味している。
  論文  参考訳（メタデータ） (2022-06-15T17:32:01Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。