論文の概要: Characterizing Model Collapse in Large Language Models Using Semantic Networks and Next-Token Probability

• arxiv url: http://arxiv.org/abs/2410.12341v2
• Date: Sun, 02 Feb 2025 22:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:07:43.673690
• Title: Characterizing Model Collapse in Large Language Models Using Semantic Networks and Next-Token Probability
• Title（参考訳）: 意味的ネットワークと次世代確率を用いた大規模言語モデルにおけるモデル崩壊の特徴付け
• Authors: Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo,
• Abstract要約: 合成コンテンツがWebに浸透するにつれて、生成的AIモデルはオートファジーなプロセスを経験し、独自の出力を使って微調整される。 これはモデル崩壊と呼ばれる現象につながり、世代を重ねて生成するAIモデルの性能と多様性を低下させる。 近年の研究では、様々な生成AIモデルとデータタイプにまたがるモデル崩壊の出現について検討されている。
• 参考スコア（独自算出の注目度）: 4.841442157674423
• License:
• Abstract: As synthetic content increasingly infiltrates the web, generative AI models may experience an autophagy process, where they are fine-tuned using their own outputs. This autophagy could lead to a phenomenon known as model collapse, which entails a degradation in the performance and diversity of generative AI models over successive generations. Recent studies have explored the emergence of model collapse across various generative AI models and types of data. However, the current characterizations of model collapse tend to be simplistic and lack comprehensive evaluation. In this article, we conduct a thorough investigation of model collapse across three text datasets, utilizing semantic networks to analyze text repetitiveness and diversity, while employing next-token probabilities to quantify the loss of diversity. We also examine how the proportions of synthetic tokens affect the severity of model collapse and perform cross-dataset evaluations to identify domain-specific variations. By proposing metrics and strategies for a more detailed assessment of model collapse, our study provides new insights for the development of robust generative AI systems.
• Abstract（参考訳）: 合成コンテンツがWebに浸透するにつれて、生成的AIモデルはオートファジーなプロセスを経験し、独自の出力を使って微調整される。 このオートファジーはモデル崩壊と呼ばれる現象を招き、世代を重ねて生成するAIモデルの性能と多様性を低下させる。 近年の研究では、様々な生成AIモデルとデータタイプにまたがるモデル崩壊の出現について検討されている。 しかし、モデル崩壊の現在の特徴付けは単純であり、包括的評価が欠けている傾向にある。 本稿では,3つのテキストデータセットにまたがるモデル崩壊を網羅的に調査し,テキスト反復性や多様性を解析するためにセマンティックネットワークを活用するとともに,多様性の喪失を定量化するために次の確率を用いる。 また,合成トークンの割合がモデル崩壊の重大さにどのように影響するかを調べた。 モデル崩壊のより詳細な評価のためにメトリクスと戦略を提案することで、我々の研究は堅牢な生成型AIシステムの開発に新たな洞察を与える。

関連論文リスト

• From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling [17.074858228123706]
  基本的な理論、方法論、欠点、データセット、メトリクスに重点を置いています。 フェアネス、プライバシ、アウト・オブ・ディストリビューションの一般化、精密医療、生物科学における因果生成モデルの応用について述べる。
  論文  参考訳（メタデータ） (2023-10-17T05:45:32Z)
• Self-Consuming Generative Models Go MAD [21.056900382589266]
  我々は、合成データを使って画像、テキスト、その他のデータ型の生成AIアルゴリズムを訓練する方法を研究する。 自己食ループの各世代に十分な新鮮な実データがないため、将来の生成モデルは、その品質(精度)や多様性(リコール)が徐々に減少する運命にある。 モデルオートファジー障害 (MAD) とよばれ, 狂牛病に類似している。
  論文  参考訳（メタデータ） (2023-07-04T17:59:31Z)
• Diversity vs. Recognizability: Human-like generalization in one-shot generative models [5.964436882344729]
  サンプル認識可能性と多様性の2つの軸に沿った1ショット生成モデルを評価するための新しい枠組みを提案する。 まず、GANのようなモデルとVAEのようなモデルが多様性認識性空間の反対側にあることを示す。 対照的に、非絡み合いは、認識可能性の最大化に使用できるパラボラ曲線に沿ってモデルを輸送する。
  論文  参考訳（メタデータ） (2022-05-20T13:17:08Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。