論文の概要: Limits to Predicting Online Speech Using Large Language Models

• arxiv url: http://arxiv.org/abs/2407.12850v1
• Date: Mon, 8 Jul 2024 09:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 08:28:07.054274
• Title: Limits to Predicting Online Speech Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたオンライン音声予測の限界
• Authors: Mina Remeli, Moritz Hardt, Robert C. Williamson,
• Abstract要約: 最近の研究は、ユーザーの仲間が書いた投稿に含まれる予測情報が、ユーザーの投稿を上回る可能性があることを示唆している。 われわれは5万人以上のXユーザー(以前はTwitter)とその仲間から625万件の投稿を集めている。 取締役会全体では、ソーシャルメディア投稿の予測可能性はまだ低く、文脈のない財務ニュースの予測に匹敵する。
• 参考スコア（独自算出の注目度）: 20.215414802169967
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the predictability of online speech on social media, and whether predictability improves with information outside a user's own posts. Recent work suggests that the predictive information contained in posts written by a user's peers can surpass that of the user's own posts. Motivated by the success of large language models, we empirically test this hypothesis. We define unpredictability as a measure of the model's uncertainty, i.e., its negative log-likelihood on future tokens given context. As the basis of our study, we collect a corpus of 6.25M posts from more than five thousand X (previously Twitter) users and their peers. Across three large language models ranging in size from 1 billion to 70 billion parameters, we find that predicting a user's posts from their peers' posts performs poorly. Moreover, the value of the user's own posts for prediction is consistently higher than that of their peers'. Across the board, we find that the predictability of social media posts remains low, comparable to predicting financial news without context. We extend our investigation with a detailed analysis about the causes of unpredictability and the robustness of our findings. Specifically, we observe that a significant amount of predictive uncertainty comes from hashtags and @-mentions. Moreover, our results replicate if instead of prompting the model with additional context, we finetune on additional context.
• Abstract（参考訳）: ソーシャルメディア上でのオンライン音声の予測可能性について検討し,ユーザの投稿外の情報により予測可能性が改善されるかどうかを検討した。 最近の研究は、ユーザーの仲間が書いた投稿に含まれる予測情報が、ユーザーの投稿を上回る可能性があることを示唆している。 大規模な言語モデルの成功に感銘を受け、我々はこの仮説を実証的に検証した。 我々は予測不可能性をモデルの不確実性の尺度として定義する。 本研究の基盤として,5万人以上のXユーザ(以前はTwitter)とその仲間から625万件の投稿を収集した。 サイズが10億から70億の3つの大きな言語モデルにわたって、ユーザの投稿を仲間の投稿から予測するのは、パフォーマンスが低いことが分かりました。 さらに,ユーザ自身の投稿の予測値は,仲間の投稿よりも一貫して高い。 取締役会全体では、ソーシャルメディア投稿の予測可能性はまだ低く、文脈のない財務ニュースの予測に匹敵する。 本研究は,予測不能の原因と結果の堅牢性について,詳細な分析により拡張する。 具体的には、ハッシュタグと@メンションからかなりの量の予測の不確実性が生じることを観察する。 さらに、追加のコンテキストでモデルにプロンプトする代わりに、追加のコンテキストで微調整を行えば、結果が再現されます。

関連論文リスト

• Eliciting Uncertainty in Chain-of-Thought to Mitigate Bias against Forecasting Harmful User Behaviors [29.892041865029803]
  会話予測タスクは、展開された会話の結果を予測するモデルである。 ソーシャルメディアのモデレーションに応用すれば、有害なユーザーの行動を予測することができる。 本稿では,潜在的なバイアスを軽減するツールとして,モデルの不確実性がどの程度有効かを検討する。
  論文  参考訳（メタデータ） (2024-10-17T15:07:53Z)
• Prompt-based Personality Profiling: Reinforcement Learning for Relevance Filtering [8.20929362102942]
  著者プロファイルは、共有するコンテンツを分析して個人の特徴を推測するタスクである。 本稿では,関係のないコンテンツと関係のないコンテンツとを区別することを目的とした著者プロファイリング手法を提案し,それに続いて,関連データのみを用いて実際のユーザプロファイリングを行う。 2つのTwitterコーパスにおける5つの人格特性予測手法の評価を行った。
  論文  参考訳（メタデータ） (2024-09-06T08:43:10Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"? [15.773775387121097]
  大規模な言語モデルのキャリブレーションは,通常モデルサイズによって改善されることを示す。 温度スケーリングの確率は、読み取り時間に体系的に適合することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T19:34:06Z)
• Decoding the Silent Majority: Inducing Belief Augmented Social Graph with Large Language Model for Response Forecasting [74.68371461260946]
  SocialSenseは、既存のソーシャルネットワーク上に信念中心のグラフを誘導するフレームワークであり、グラフベースの伝播によって社会的ダイナミクスを捉える。 本手法は,ゼロショット設定と教師あり設定の両方に対する実験的な評価において,既存の最先端技術を超えている。
  論文  参考訳（メタデータ） (2023-10-20T06:17:02Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
  将来予測のための逆生成文法モデルを提案する。 私たちの文法は、データ分散から生産ルールを学習できるように設計されています。 推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
  論文  参考訳（メタデータ） (2020-08-11T17:47:53Z)
• Explainable Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media [21.619614611039257]
  階層型アテンションネットワークMDHANを用いた解釈型マルチモーダルデプレッション検出を提案する。 本モデルは,ソーシャルメディアに公開メッセージを投稿している利用者の抑うつを検知する際の予測性能の向上に寄与する。
  論文  参考訳（メタデータ） (2020-07-03T12:11:22Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。