論文の概要: Blink of an eye: a simple theory for feature localization in generative models

• arxiv url: http://arxiv.org/abs/2502.00921v1
• Date: Sun, 02 Feb 2025 21:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:06.647311
• Title: Blink of an eye: a simple theory for feature localization in generative models
• Title（参考訳）: 目の点滅--生成モデルにおける特徴局在の単純な理論
• Authors: Marvin Li, Aayush Karan, Sitan Chen,
• Abstract要約: 大型言語モデル(LLM)は、目の瞬きにおいて望ましくない、予期しない振る舞いを示す。 この現象は自己回帰モデルに特有のものではなく、拡散モデルでは、最終的な出力の重要な特徴は生成過程の狭いクリティカルウィンドウ'で決定される。 生成プロセスがモデル化した分布のサブポピュレーションにローカライズされると、一般化して現れることを示す。
• 参考スコア（独自算出の注目度）: 8.252989129324988
• License:
• Abstract: Large language models (LLMs) can exhibit undesirable and unexpected behavior in the blink of an eye. In a recent Anthropic demo, Claude switched from coding to Googling pictures of Yellowstone, and these sudden shifts in behavior have also been observed in reasoning patterns and jailbreaks. This phenomenon is not unique to autoregressive models: in diffusion models, key features of the final output are decided in narrow ``critical windows'' of the generation process. In this work we develop a simple, unifying theory to explain this phenomenon. We show that it emerges generically as the generation process localizes to a sub-population of the distribution it models. While critical windows have been studied at length in diffusion models, existing theory heavily relies on strong distributional assumptions and the particulars of Gaussian diffusion. In contrast to existing work our theory (1) applies to autoregressive and diffusion models; (2) makes no distributional assumptions; (3) quantitatively improves previous bounds even when specialized to diffusions; and (4) requires basic tools and no stochastic calculus or statistical physics-based machinery. We also identify an intriguing connection to the all-or-nothing phenomenon from statistical inference. Finally, we validate our predictions empirically for LLMs and find that critical windows often coincide with failures in problem solving for various math and reasoning benchmarks.
• Abstract（参考訳）: 大型言語モデル(LLM)は、目の瞬きにおいて望ましくない、予期しない振る舞いを示す。 最近の人類学のデモでは、クロードはコーディングからイエローストーンのゴーグリング写真に切り替えており、これらの突然の行動の変化は推論パターンやジェイルブレイクでも観察されている。 この現象は自己回帰モデルに特有のものではなく、拡散モデルでは、最終的な出力の重要な特徴は生成過程の狭い「クリティカルウィンドウ」で決定される。 本研究では、この現象を説明するための単純で統一的な理論を開発する。 生成プロセスがモデル化した分布のサブポピュレーションにローカライズされると、一般化して現れることを示す。 臨界窓は拡散モデルにおいて長く研究されているが、既存の理論は強い分布仮定とガウス拡散の特異性に大きく依存している。 既存の研究とは対照的に、我々の理論(1)は自己回帰的・拡散的モデルに適用し、(2)分布的仮定は行わず、(3)拡散に特化しても先行境界を定量的に改善し、(4)基本的なツールを必要とし、確率計算や統計物理学に基づく機械は必要としない。 また,統計的推測からオール・オア・ナッシング現象への興味深い関連性も同定した。 最後に, LLMの予測を実証的に検証し, 種々の数学や推論のベンチマークにおいて, クリティカルウィンドウが問題解決の失敗とよく一致することを発見した。

関連論文リスト

• Multiple-Source Localization from a Single-Snapshot Observation Using Graph Bayesian Optimization [10.011338977476804]
  単一スナップショット観測によるマルチソースのローカライゼーションは、その頻度が原因で特に重要となる。 現在の方法は典型的には欲求選択を利用しており、通常は1つの拡散モデルと結合する。 そこで本研究では,BOSouLというシミュレーション手法を用いて,サンプル効率を近似する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-25T14:46:24Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Time Series Diffusion in the Frequency Domain [54.60573052311487]
  周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。 重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。 周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T18:59:05Z)
• On the Generalization Properties of Diffusion Models [33.93850788633184]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• Causal Modeling with Stationary Diffusions [89.94899196106223]
  定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。 古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。 提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
  論文  参考訳（メタデータ） (2023-10-26T14:01:17Z)
• Renormalizing Diffusion Models [0.7252027234425334]
  拡散モデルを用いて、統計および量子場理論の逆再正規化群フローを学習する。 我々の研究は、多スケール拡散モデルの解釈を提供し、新しい性質を持つべき拡散モデルに対する物理的に着想を得た提案を与える。
  論文  参考訳（メタデータ） (2023-08-23T18:02:31Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Generalization and Memorization: The Bias Potential Model [9.975163460952045]
  生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。 バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。 長期的には、モデルはサンプルを記憶するか、分岐させる。
  論文  参考訳（メタデータ） (2020-11-29T04:04:54Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。