論文の概要: When LLMs Play the Telephone Game: Cumulative Changes and Attractors in Iterated Cultural Transmissions

• arxiv url: http://arxiv.org/abs/2407.04503v1
• Date: Fri, 5 Jul 2024 13:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-08 13:20:52.775035
• Title: When LLMs Play the Telephone Game: Cumulative Changes and Attractors in Iterated Cultural Transmissions
• Title（参考訳）: LLMが電話ゲームをするとき: 反復的文化的伝達における累積的変化とトラクター
• Authors: Jérémy Perez, Corentin Léger, Grgur Kovač, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier,
• Abstract要約: 大規模言語モデル(LLM)は相互に相互作用し、オンラインで大量のテキストを生成する。 単一の出力レベルで無視される小さなバイアスは、反復的なインタラクションで増幅されるリスクである。 テキスト毒性, 肯定性, 難易度, および伝達鎖間の長さの進化を追跡することにより, バイアスやアトラクタの存在を明らかにする。
• 参考スコア（独自算出の注目度）: 17.12201783898455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) start interacting with each other and generating an increasing amount of text online, it becomes crucial to better understand how information is transformed as it passes from one LLM to the next. While significant research has examined individual LLM behaviors, existing studies have largely overlooked the collective behaviors and information distortions arising from iterated LLM interactions. Small biases, negligible at the single output level, risk being amplified in iterated interactions, potentially leading the content to evolve towards attractor states. In a series of telephone game experiments, we apply a transmission chain design borrowed from the human cultural evolution literature: LLM agents iteratively receive, produce, and transmit texts from the previous to the next agent in the chain. By tracking the evolution of text toxicity, positivity, difficulty, and length across transmission chains, we uncover the existence of biases and attractors, and study their dependence on the initial text, the instructions, language model, and model size. For instance, we find that more open-ended instructions lead to stronger attraction effects compared to more constrained tasks. We also find that different text properties display different sensitivity to attraction effects, with toxicity leading to stronger attractors than length. These findings highlight the importance of accounting for multi-step transmission dynamics and represent a first step towards a more comprehensive understanding of LLM cultural dynamics.
• Abstract（参考訳）: 大規模言語モデル(LLM)が相互に相互作用し、オンラインで大量のテキストを生成するようになると、あるLLMから次のLLMに遷移するにつれて、どのように情報が変換されるかをよりよく理解することが重要になる。 個々のLDMの挙動について重要な研究がなされているが、既存の研究は繰り返しLDMの相互作用から生じる集団的挙動や情報の歪みを概ね見落としている。 単一の出力レベルで無視される小さなバイアスは、反復的な相互作用のリスクを増幅し、コンテンツが魅力のある状態へと進化する可能性がある。 一連の電話ゲーム実験において,人間の文化進化文献から借用した送信チェーン設計を適用した: LLMエージェントは,そのチェーン内の先行エージェントから次のエージェントへのテキストを反復的に受信し,生成し,送信する。 テキスト毒性, 肯定性, 難易度, 伝達鎖間の長さの進化を追跡することにより, バイアスやアトラクタの存在を明らかにし, 初期テキスト, 命令, 言語モデル, モデルサイズへの依存性について検討する。 例えば、よりオープンな指示が、より制約されたタスクよりもより強いアトラクション効果をもたらすことが分かっています。 また、異なるテキスト特性はアトラクション効果に対して異なる感度を示し、毒性は長さよりもアトラクションを強くする。 これらの知見は多段階伝達ダイナミクスの会計の重要性を強調し、LLMの文化的ダイナミクスをより包括的に理解するための第一歩である。

関連論文リスト

• MLLMs are Deeply Affected by Modality Bias [158.64371871084478]
  MLLM(Multimodal Large Language Models)の最近の進歩は、テキストや画像などの多様なモダリティを統合する上で、有望な成果を示している。 MLLMはモダリティバイアスに強く影響され、しばしば言語に依存し、視覚入力のような他のモダリティを過小評価する。 本稿では,MLLMはモダリティバイアスの影響を強く受けており,様々なタスクにまたがってその発現を明らかにする。
  論文  参考訳（メタデータ） (2025-05-24T11:49:31Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Ensemble Learning for Large Language Models in Text and Code Generation: A Survey [6.041894045506043]
  本稿では,理解を深め,さらなる研究を奨励し,テキストおよびコード生成における実践的実装を促進するための,新たなアンサンブルアプローチについてレビューする。 大規模言語モデルは、重み付け、知識融合、エキスパートの混合、出力アンサンブル、ルーティング、カスケードの7つの主要な方法に分類する。 この結果から,多様性表現の改善,出力品質の向上,アプリケーション柔軟性の向上など,重要なメリットが浮かび上がっている。
  論文  参考訳（メタデータ） (2025-03-13T18:50:57Z)
• Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models [26.023148371263012]
  マルチホップ事実検証のための構造化知識強化LLMベースネットワーク(LLM-SKAN)を提案する。 具体的には、LLM駆動の知識エクストラクタを用いて、エンティティとその複雑な関係を含むきめ細かい情報をキャプチャする。 4つの共通利用データセットに対する実験結果から,本モデルの有効性と優位性を示した。
  論文  参考訳（メタデータ） (2025-03-11T14:47:24Z)
• LLM as a Broken Telephone: Iterative Generation Distorts Information [22.064570490052446]
  この研究は、連鎖した人間のコミュニケーションにおける「壊れた電話」効果にインスパイアされている。 言語の選択や連鎖の複雑さの影響を受け、歪みは時間の経過とともに蓄積する。
  論文  参考訳（メタデータ） (2025-02-27T16:46:23Z)
• Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style [13.968658352075334]
  記憶力とエビデンス提示が外的エビデンスに対する大規模言語モデルの受容性に及ぼす影響について検討する。 以上の結果から,LLMはメモリの強度が高い場合,内部メモリに依存しやすい可能性が示唆された。 これらの知見は,検索機能向上と文脈認識型LCMの改善に寄与する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:06Z)
• Semantic Change Characterization with LLMs using Rhetorics [0.1474723404975345]
  本研究では,LLMが3種類の意味変化(思考,関係,方向)を特徴づける可能性について検討する。 本結果は,意味的変化の捕捉と解析におけるLLMの有効性を強調し,計算言語応用を改善する上で有用な洞察を提供するものである。
  論文  参考訳（メタデータ） (2024-07-23T16:32:49Z)
• Catching Chameleons: Detecting Evolving Disinformation Generated using Large Language Models [16.408611714514976]
  我々は,事前学習した言語モデルの一般的な事実チェック機能と協調的に活用するパラメータ効率の高いDLD(Detecting Evolving LLM-Generative Disinformation)を提案する。 実験の結果, TextitDELD は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-26T00:21:39Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• OVEL: Large Language Model as Memory Manager for Online Video Entity Linking [57.70595589893391]
  我々は,オンラインビデオにおける言及と,高精度かつ時系列の知識ベースとの接続を確立することを目的とした,オンラインビデオエンティティリンクOVELというタスクを提案する。 OVEL タスクを効果的に処理するために,Large Language Model が管理するメモリブロックを活用し,知識ベースからエンティティ候補を抽出し,メモリ管理における LLM 性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-03T06:47:51Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Under the Surface: Tracking the Artifactuality of LLM-Generated Data [21.002983022237604]
  この研究は、人工データの生成において、大きな言語モデル(LLM)の役割を拡大するものである。 我々の知る限りでは、多種多様な LLM 生成テキストデータを収集する最初の研究である。 人工データの人間のパフォーマンスにマッチする能力にもかかわらず、本論文は重大な隠蔽格差を明らかにした。
  論文  参考訳（メタデータ） (2024-01-26T07:53:27Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。