論文の概要: LLMs Can Get "Brain Rot"!

• arxiv url: http://arxiv.org/abs/2510.13928v1
• Date: Wed, 15 Oct 2025 13:28:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.549643
• Title: LLMs Can Get "Brain Rot"!
• Title（参考訳）: LLMs can get "Brain Rot"!
• Authors: Shuo Xing, Junyuan Hong, Yifan Wang, Runjin Chen, Zhenyu Zhang, Ananth Grama, Zhengzhong Tu, Zhangyang Wang,
• Abstract要約: ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
• 参考スコア（独自算出の注目度）: 68.08198331505695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose and test the LLM Brain Rot Hypothesis: continual exposure to junk web text induces lasting cognitive decline in large language models (LLMs). To causally isolate data quality, we run controlled experiments on real Twitter/X corpora, constructing junk and reversely controlled datasets via two orthogonal operationalizations: M1 (engagement degree) and M2 (semantic quality), with matched token scale and training operations across conditions. Contrary to the control group, continual pre-training of 4 LLMs on the junk dataset causes non-trivial declines (Hedges' $g>0.3$) on reasoning, long-context understanding, safety, and inflating "dark traits" (e.g., psychopathy, narcissism). The gradual mixtures of junk and control datasets also yield dose-response cognition decay: for example, under M1, ARC-Challenge with Chain Of Thoughts drops $74.9 \rightarrow 57.2$ and RULER-CWE $84.4 \rightarrow 52.3$ as junk ratio rises from $0\%$ to $100\%$. Error forensics reveal several key insights. First, we identify thought-skipping as the primary lesion: models increasingly truncate or skip reasoning chains, explaining most of the error growth. Second, partial but incomplete healing is observed: scaling instruction tuning and clean data pre-training improve the declined cognition yet cannot restore baseline capability, suggesting persistent representational drift rather than format mismatch. Finally, we discover that the popularity, a non-semantic metric, of a tweet is a better indicator of the Brain Rot effect than the length in M1. Together, the results provide significant, multi-perspective evidence that data quality is a causal driver of LLM capability decay, reframing curation for continual pretraining as a \textit{training-time safety} problem and motivating routine "cognitive health checks" for deployed LLMs.
• Abstract（参考訳）: LLM脳卒中仮説(LEM Brain Rot hypothesis:連続的なジャンクウェブテキストへの露出)は、大規模言語モデル(LLM)において、持続的な認知低下を誘発する。 データ品質を因果的に分離するために、実際のTwitter/Xコーパスで制御された実験を実行し、2つの直交操作(M1(エンゲージメント学位)とM2(セマンティッククオリティ)を通じてジャンクと逆制御されたデータセットを構築します。 制御群とは対照的に, ジャンクデータセット上での4LLMの連続事前学習は, 推論, 長期理解, 安全性, 膨らませる「ダーク特性」(例えば, サイコパシー, ナルシシズム)において非自明な低下(Hedges' $g>0.3$)を引き起こす。 例えば、M1では、ARC-Challenge with Chain Of Thoughtsは74.9 \rightarrow 57.2$とRULER-CWE 8,4.4 \rightarrow 52.3$となり、ジャンク比は0.%$から100.%$に上昇する。 誤り法医学はいくつかの重要な洞察を明らかにしている。 まず、思考スキッピングが主要な障害であると同定し、モデルがますます縮小したり、推論チェーンをスキップしたりし、エラーのほとんどを説明できる。 第2に、部分的だが不完全なヒーリングが観察される: 命令チューニングのスケーリングとクリーンなデータ事前トレーニングにより、認識力の低下は改善されるが、ベースライン能力の回復は不可能であり、フォーマットミスマッチよりも永続的な表現的ドリフトが提案される。 最後に、ツイートの非セマンティックな指標である人気が、M1の長さよりもブレイン・ロット効果の指標として優れていることを発見した。 この結果から,データ品質がLLM能力低下の原因要因であることを示すとともに,‘textit{training-time safety} 問題として継続事前トレーニングのキュレーションを緩和し,展開された LLM に対して日常的な "認知健康チェック" を動機付けることが示唆された。

関連論文リスト

• $\mathbf{T^3}$: Reducing Belief Deviation in Reinforcement Learning for Active Reasoning [25.588308192160685]
  本稿では,モデル信念の逸脱を追跡し,過剰な信念の逸脱を検出し,不定形尾を除去するために軌道を乱す単純な方法であるmathbfT3$を開発することを提案する。 $mathbfT3$は、トレーニングの安定性、トークン効率、最終的なパフォーマンスを継続的に向上し、ロールアウトトークンを約25%カットしながら最大30%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-10-14T08:14:49Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Analyzing and Mitigating Object Hallucination: A Training Bias Perspective [108.09666587800781]
  我々は,LVLMのトレーニングデータから,特定の対象を隠蔽した反ファクト画像からなる新しいベンチマークPOPEv2を提案する。 現在のLVLMはトレーニングバイアスに悩まされており、トレーニングデータを完全に活用できず、トレーニング中に見られる画像に対してより頻繁に幻覚を与えることができません。 Obliviateは,学習バイアスアンラーニングによる物体幻覚の軽減を目的とした,効率的で軽量な未学習手法である。
  論文  参考訳（メタデータ） (2025-08-06T15:51:02Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [43.310209758380886]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Unlearning Isn't Deletion: Investigating Reversibility of Machine Unlearning in LLMs [38.837810490068556]
  大規模言語モデル(LLM)におけるアンラーニングは、指定されたデータを削除することを目的としているが、その効果は通常、正確性や複雑度のようなタスクレベルのメトリクスで評価される。 最小限の微調整によって元の動作が容易に復元される間、モデルは忘れることができることを実証する。 この表現可能性の現象は、情報は単に抑圧されているだけであり、真に消去されていないことを示唆している。
  論文  参考訳（メタデータ） (2025-05-22T16:02:10Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Verbosity $\neq$ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models [8.846200844870767]
  大規模言語モデル(LLM)の好ましくない振る舞いの下位タイプを発見する。 我々はVerbosity Compensation (VC) を不確実性下での人間の鎮静行動と類似しているとしている。 本稿では, 冗長応答を他のモデル生成応答に置き換える, 単純で効果的なカスケードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:15:20Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。