論文の概要: Knowledge as a Breaking of Ergodicity

• arxiv url: http://arxiv.org/abs/2412.16411v1
• Date: Sat, 21 Dec 2024 00:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:11.551529
• Title: Knowledge as a Breaking of Ergodicity
• Title（参考訳）: エルゴディクティの破滅としての知識
• Authors: Yang He, Vassiliy Lubchenko,
• Abstract要約: 2次自由度で定義された生成モデルのトレーニングをガイドできる熱力学的ポテンシャルを構築する。 我々は、生成モデルを計算的に管理可能にするために、記述の削減とともに、ポテンシャルは複数のミニマを発生させると主張している。
• 参考スコア（独自算出の注目度）: 2.379669478864599
• License:
• Abstract: We construct a thermodynamic potential that can guide training of a generative model defined on a set of binary degrees of freedom. We argue that upon reduction in description, so as to make the generative model computationally-manageable, the potential develops multiple minima. This is mirrored by the emergence of multiple minima in the free energy proper of the generative model itself. The variety of training samples that employ N binary degrees of freedom is ordinarily much lower than the size 2^N of the full phase space. The non-represented configurations, we argue, should be thought of as comprising a high-temperature phase separated by an extensive energy gap from the configurations composing the training set. Thus, training amounts to sampling a free energy surface in the form of a library of distinct bound states, each of which breaks ergodicity. The ergodicity breaking prevents escape into the near continuum of states comprising the high-temperature phase; thus it is necessary for proper functionality. It may however have the side effect of limiting access to patterns that were underrepresented in the training set. At the same time, the ergodicity breaking within the library complicates both learning and retrieval. As a remedy, one may concurrently employ multiple generative models -- up to one model per free energy minimum.
• Abstract（参考訳）: 2次自由度で定義された生成モデルのトレーニングをガイドできる熱力学的ポテンシャルを構築する。 我々は、生成モデルを計算的に管理可能にするために、記述の削減とともに、ポテンシャルは複数のミニマを発生させると主張している。 これは、生成モデル自体の固有な自由エネルギーにおける多重ミニマの出現を反映している。 Nの2次自由度を利用する様々なトレーニングサンプルは、通常、全位相空間のサイズ2^Nよりもはるかに低い。 非表現的な構成は、トレーニングセットを構成する構成との広範なエネルギーギャップによって分離された高温の相を構成するものとみなすべきである、と我々は主張する。 したがって、訓練は異なる境界状態のライブラリーの形で自由エネルギー表面をサンプリングし、それぞれがエルゴディディティを破る。 エルゴード性破壊は高温相を含む状態の近連続体への逃避を防ぎ、適切な機能に必要となる。 しかし、トレーニングセットで表現されていないパターンへのアクセスを制限する副作用があるかもしれない。 同時に、図書館内のエルゴード性破壊は、学習と検索の両方を複雑にする。 救済策として、複数の生成モデル(自由エネルギー当たりの最大1つのモデル)を同時に使用することができる。

関連論文リスト

• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Thermalization at Low Temperatures via Weakly-Damped Multi-Site Baths [0.0]
  浴槽に結合した一次元開量子系の熱化特性について検討した。 我々はこの能力を用いて、XZモデルにおけるエネルギー輸送を以前報告したよりも低い温度で研究する。
  論文  参考訳（メタデータ） (2023-04-17T18:00:49Z)
• Signatures of a quantum phase transition on a single-mode bosonic model [0.0]
  平衡相転移は多体系の微視的挙動から生じる。 これらは熱力学限界における熱力学ポテンシャルの非解析的挙動によって定義される。 これまでの考え方を極端に考えると、そのような制限は拡張されないシステムでも定義できると論じる。
  論文  参考訳（メタデータ） (2023-03-22T20:14:45Z)
• FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model [59.317041523253245]
  本研究では, 各種条件に対する自由条件拡散モデル (FreeDoM) を提案する。 具体的には、オフザシェルフ事前学習ネットワーク(顔検出モデルなど)を活用して、時間に依存しないエネルギー関数を構築する。 提案するFreeDoMは,既存のトレーニングフリー手法よりも幅広い用途がある。
  論文  参考訳（メタデータ） (2023-03-17T08:38:33Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains at Finite Temperature: Exact Results [68.8204255655161]
  奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。 正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
  論文  参考訳（メタデータ） (2021-05-11T14:08:02Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• Quantum memory enhanced dissipative entanglement creation in non-equilibrium steady states [0.0]
  論文は、絡み合った非平衡定常状態(NESS)の散逸準備について検討する。 本研究では,異なる温度で熱貯留層に結合した2つの量子ビットからなる衝突モデルを構築した。 入浴温度範囲が一定であれば,NESSの絡み合が可能であることを報告した。
  論文  参考訳（メタデータ） (2020-08-10T18:47:21Z)
• Atomic self-organization emerging from tunable quadrature coupling [5.624813092014403]
  本研究では,BECの2つの密度波自由度を空洞場の2つの四角度に分解する手法を提案する。 空洞散逸により動的に不安定な状態が生じる。 我々の研究は、キャビティ量子-電気力学系における量子シミュレーションツールボックスを豊かにしている。
  論文  参考訳（メタデータ） (2020-04-07T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。