論文の概要: When LLMs Play the Telephone Game: Cumulative Changes and Attractors in Iterated Cultural Transmissions
- arxiv url: http://arxiv.org/abs/2407.04503v1
- Date: Fri, 5 Jul 2024 13:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 13:20:52.775035
- Title: When LLMs Play the Telephone Game: Cumulative Changes and Attractors in Iterated Cultural Transmissions
- Title（参考訳）: LLMが電話ゲームをするとき: 反復的文化的伝達における累積的変化とトラクター
- Authors: Jérémy Perez, Corentin Léger, Grgur Kovač, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier,
- Abstract要約: 大規模言語モデル(LLM)は相互に相互作用し、オンラインで大量のテキストを生成する。
単一の出力レベルで無視される小さなバイアスは、反復的なインタラクションで増幅されるリスクである。
テキスト毒性, 肯定性, 難易度, および伝達鎖間の長さの進化を追跡することにより, バイアスやアトラクタの存在を明らかにする。
- 参考スコア（独自算出の注目度）: 17.12201783898455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) start interacting with each other and generating an increasing amount of text online, it becomes crucial to better understand how information is transformed as it passes from one LLM to the next. While significant research has examined individual LLM behaviors, existing studies have largely overlooked the collective behaviors and information distortions arising from iterated LLM interactions. Small biases, negligible at the single output level, risk being amplified in iterated interactions, potentially leading the content to evolve towards attractor states. In a series of telephone game experiments, we apply a transmission chain design borrowed from the human cultural evolution literature: LLM agents iteratively receive, produce, and transmit texts from the previous to the next agent in the chain. By tracking the evolution of text toxicity, positivity, difficulty, and length across transmission chains, we uncover the existence of biases and attractors, and study their dependence on the initial text, the instructions, language model, and model size. For instance, we find that more open-ended instructions lead to stronger attraction effects compared to more constrained tasks. We also find that different text properties display different sensitivity to attraction effects, with toxicity leading to stronger attractors than length. These findings highlight the importance of accounting for multi-step transmission dynamics and represent a first step towards a more comprehensive understanding of LLM cultural dynamics.
- Abstract（参考訳）: 大規模言語モデル(LLM)が相互に相互作用し、オンラインで大量のテキストを生成するようになると、あるLLMから次のLLMに遷移するにつれて、どのように情報が変換されるかをよりよく理解することが重要になる。
個々のLDMの挙動について重要な研究がなされているが、既存の研究は繰り返しLDMの相互作用から生じる集団的挙動や情報の歪みを概ね見落としている。
単一の出力レベルで無視される小さなバイアスは、反復的な相互作用のリスクを増幅し、コンテンツが魅力のある状態へと進化する可能性がある。
一連の電話ゲーム実験において,人間の文化進化文献から借用した送信チェーン設計を適用した: LLMエージェントは,そのチェーン内の先行エージェントから次のエージェントへのテキストを反復的に受信し,生成し,送信する。
テキスト毒性, 肯定性, 難易度, 伝達鎖間の長さの進化を追跡することにより, バイアスやアトラクタの存在を明らかにし, 初期テキスト, 命令, 言語モデル, モデルサイズへの依存性について検討する。
例えば、よりオープンな指示が、より制約されたタスクよりもより強いアトラクション効果をもたらすことが分かっています。
また、異なるテキスト特性はアトラクション効果に対して異なる感度を示し、毒性は長さよりもアトラクションを強くする。
これらの知見は多段階伝達ダイナミクスの会計の重要性を強調し、LLMの文化的ダイナミクスをより包括的に理解するための第一歩である。
関連論文リスト
- Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。
本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
論文 参考訳（メタデータ） (2024-07-23T16:32:49Z) - Catching Chameleons: Detecting Evolving Disinformation Generated using Large Language Models [16.408611714514976]
我々は,事前学習した言語モデルの一般的な事実チェック機能と協調的に活用するパラメータ効率の高いDLD(Detecting Evolving LLM-Generative Disinformation)を提案する。
実験の結果, TextitDELD は最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-26T00:21:39Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-25T19:07:32Z) - OVEL: Large Language Model as Memory Manager for Online Video Entity
Linking [57.70595589893391]
我々は,オンラインビデオにおける言及と,高精度かつ時系列の知識ベースとの接続を確立することを目的とした,オンラインビデオエンティティリンクOVELというタスクを提案する。
OVEL タスクを効果的に処理するために,Large Language Model が管理するメモリブロックを活用し,知識ベースからエンティティ候補を抽出し,メモリ管理における LLM 性能を向上させる。
論文 参考訳（メタデータ） (2024-03-03T06:47:51Z) - Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。
特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文 参考訳（メタデータ） (2024-02-20T14:43:39Z) - Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。
我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。
人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
論文 参考訳（メタデータ） (2024-01-26T07:53:27Z) - Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
論文 参考訳（メタデータ） (2023-10-30T08:40:16Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳（メタデータ） (2023-10-24T09:10:26Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-10-10T03:06:38Z) - Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness
and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。
マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。
LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文 参考訳（メタデータ） (2023-09-13T17:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。