論文の概要: Emergent LLM behaviors are observationally equivalent to data leakage

• arxiv url: http://arxiv.org/abs/2505.23796v1
• Date: Mon, 26 May 2025 13:44:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.507127
• Title: Emergent LLM behaviors are observationally equivalent to data leakage
• Title（参考訳）: 創発的LCM挙動はデータ漏洩と観測的に等価である
• Authors: Christopher Barrie, Petter Törnberg,
• Abstract要約: 大規模言語モデル(LLM)は,人間の社会規範を連想させる言語慣習を自然に発達させることを示す。 著者らによる緩和策にもかかわらず、LLMが協調ゲームの構造を認識し、その結果を思い出すことを示す複数の分析結果を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ashery et al. recently argue that large language models (LLMs), when paired to play a classic "naming game," spontaneously develop linguistic conventions reminiscent of human social norms. Here, we show that their results are better explained by data leakage: the models simply reproduce conventions they already encountered during pre-training. Despite the authors' mitigation measures, we provide multiple analyses demonstrating that the LLMs recognize the structure of the coordination game and recall its outcomes, rather than exhibit "emergent" conventions. Consequently, the observed behaviors are indistinguishable from memorization of the training corpus. We conclude by pointing to potential alternative strategies and reflecting more generally on the place of LLMs for social science models.
• Abstract（参考訳）: アシュリーらは最近、大きな言語モデル(LLM)が古典的な「命名ゲーム」をプレイするためにペアを組むと、人間の社会規範を連想させる言語慣習を自然に発達させることを論じている。 ここでは、これらの結果が、データ漏洩によってよりよく説明されることを示す: モデルは、事前トレーニング中に既に遭遇した規約を単に再現する。 著者らによる緩和策にもかかわらず、我々はLLMが協調ゲームの構造を認識し、その成果を「創発的」な慣行を示すのではなく、再現することを示す複数の分析を行った。 その結果、観察された行動はトレーニングコーパスの記憶と区別できない。 我々は、潜在的な代替戦略を指摘し、より一般的に社会科学モデルにおけるLLMの位置づけを反映して結論づける。

関連論文リスト

• Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve? [19.34040322172224]
  テキストドメイン上でモデルをトレーニングすることは、同じドメインのテスト部分において、その難易度を低下させる可能性があることを示す。 我々の発見は、いつモデルを適応するか、いつ基礎的な能力に頼るかを決める上で、私たちを導くでしょう。
  論文  参考訳（メタデータ） (2024-10-08T00:37:16Z)
• Large Language Models as Markov Chains [7.078696932669912]
  有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。 以上の結果とLLMで観察された病理行動との関連性を検討した。 最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
  論文  参考訳（メタデータ） (2024-10-03T17:45:31Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  本稿ではReCaLL(Relative Conditional Log-Likelihood)を提案する。 実験の結果,非メンバープレフィックスの条件付きメンバーデータは,非メンバーデータと比較してログライクな傾向が著しく低下することがわかった。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends [38.86240794422485]
  対話要約のための大規模言語モデルの忠実度を評価する。 私たちの評価は幻覚を構成するものに関して微妙な点を呈する。 既存の指標より優れた微細な誤差検出のための2つのプロンプトベースのアプローチを導入する。
  論文  参考訳（メタデータ） (2024-06-05T17:49:47Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。