論文の概要: Nonequilibrium thermodynamics of self-supervised learning

• arxiv url: http://arxiv.org/abs/2106.08981v1
• Date: Wed, 16 Jun 2021 17:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 19:07:29.913974
• Title: Nonequilibrium thermodynamics of self-supervised learning
• Title（参考訳）: 自己教師付き学習の非平衡熱力学
• Authors: Domingos S. P. Salazar
• Abstract要約: エネルギーベースモデルの自己教師付き学習(SSL)は平衡熱力学と直感的な関係を持つ。 いくつかのSSLパラダイムは、非平衡貯水池と接触した表現と自己ラベルによって形成される熱力学的複合システムとして振る舞うことを示す。 本稿では,フィードバック測定を用いてシステムからネガティブな作業を引き出すことによって,学習をサイクルで動作させるデーモンとみなす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) of energy based models has an intuitive relation to equilibrium thermodynamics because the softmax layer, mapping energies to probabilities, is a Gibbs distribution. However, in what way SSL is a thermodynamic process? We show that some SSL paradigms behave as a thermodynamic composite system formed by representations and self-labels in contact with a nonequilibrium reservoir. Moreover, this system is subjected to usual thermodynamic cycles, such as adiabatic expansion and isochoric heating, resulting in a generalized Gibbs ensemble (GGE). In this picture, we show that learning is seen as a demon that operates in cycles using feedback measurements to extract negative work from the system. As applications, we examine some SSL algorithms using this idea.
• Abstract（参考訳）: エネルギーベースモデルの自己教師付き学習(SSL)は、エネルギーを確率にマッピングするソフトマックス層がギブス分布であるため、平衡熱力学と直感的な関係を持つ。 しかし、SSLは熱力学的プロセスとは何か? いくつかのSSLパラダイムは、非平衡貯水池と接触した表現と自己ラベルによって形成される熱力学的複合システムとして振る舞う。 さらに、この系は断熱膨張や等温加熱などの通常の熱力学サイクルに従属し、一般化されたギブスアンサンブル(GGE)となる。 本稿では,フィードバック測定を用いてシステムからネガティブな作業を引き出すことによって,学習をサイクルで動作させるデーモンとみなす。 アプリケーションとして,このアイデアを用いたSSLアルゴリズムについて検討する。

関連論文リスト

• Thermodynamics of adiabatic quantum pumping in quantum dots [50.24983453990065]
  2つのフェルミオンリードに接続された単一レベルの量子ドットである共鳴レベルモデルによる断熱量子ポンピングを考察する。 我々は, このモデルについて, 点のエネルギーレベルと熱浴によるトンネル速度の変動を考慮した一貫した熱力学的記述を開発した。
  論文  参考訳（メタデータ） (2023-06-14T16:29:18Z)
• Gibbs-Duhem-Informed Neural Networks for Binary Activity Coefficient Prediction [45.84205238554709]
  本稿では,Gibs-Duhem-informed Neural Network を用いて,様々な組成における二成分活性係数の予測を行う。 ニューラルネットワークの学習における損失関数にギブス・デュヘム方程式を明示的に含んでいる。
  論文  参考訳（メタデータ） (2023-05-31T07:36:45Z)
• The laws of thermodynamics for quantum dissipative systems: A quasi-equilibrium Helmholtz energy approach [0.0]
  等温過程と断熱状態と等温状態の遷移過程の両方の熱的特性について検討した。 この機械の熱力学的効率は, 等温過程の場が冷凍機として機能するためゼロであることが判明した。
  論文  参考訳（メタデータ） (2022-05-23T23:05:53Z)
• Gauge Quantum Thermodynamics of Time-local non-Markovian Evolutions [77.34726150561087]
  一般時間局所非マルコフマスター方程式を扱う。 我々は、電流とパワーを、古典的熱力学のようにプロセスに依存していると定義する。 この理論を量子熱機関に適用することにより、ゲージ変換が機械効率を変化させることを示す。
  論文  参考訳（メタデータ） (2022-04-06T17:59:15Z)
• Fast Thermalization from the Eigenstate Thermalization Hypothesis [69.68937033275746]
  固有状態熱化仮説(ETH)は閉量子系における熱力学現象を理解する上で重要な役割を果たしている。 本稿では,ETHと高速熱化とグローバルギブス状態との厳密な関係を確立する。 この結果はカオス開量子系における有限時間熱化を説明する。
  論文  参考訳（メタデータ） (2021-12-14T18:48:31Z)
• Qubit thermodynamics far from equilibrium: two perspectives about the nature of heat and work in the quantum regime [68.8204255655161]
  2段階系の熱力学解析のための代替理論フレームワークを開発する。 我々は、局所ハミルトニアンを定義する外部場が存在する場合、ブロッホベクトルを回転させるエネルギーコストを表す新しい作業項の出現を観察する。 両視点から, 2つの異なる系に対する物質・放射相互作用プロセスについて検討した。
  論文  参考訳（メタデータ） (2021-03-16T09:31:20Z)
• Nonequilibrium Quantum Free Energy and Effective Temperature, Generating Functional and Influence Action [0.0]
  粗粒効果作用および影響作用の点において、生成関数によって正式な導出が提供される。 ここで見つかる非平衡熱力学関数は、システムの全非平衡進化史における任意の時点において、よく知られた関係である $mathcalF_textscs(t)=mathcalU_textscs(t)- T_textsceff(t),mathcalS_vN(t)$ に従う。
  論文  参考訳（メタデータ） (2020-11-20T16:01:11Z)
• Open system dynamics from thermodynamic compatibility [0.0]
  特に、システムと環境の間の厳密なエネルギー保存は、散逸的力学写像がユニタリ系プロパゲータと通勤することを示唆している。 スペクトル解析を用いて、続くマスター方程式の一般形を証明する。 得られた形式構造は熱力学との近似微分の整合性をテストするために用いられる。
  論文  参考訳（メタデータ） (2020-11-06T18:23:52Z)
• Quantum thermodynamically consistent local master equations [0.0]
  局所マスター方程式は、顕微鏡モデルに頼らずに熱力学とその法則と整合性を示す。 複数の浴槽に接する量子系を考察し, 総エネルギー, 熱電流, エントロピー生成速度に対する関連する寄与を同定する。
  論文  参考訳（メタデータ） (2020-08-11T14:53:36Z)
• Out-of-equilibrium quantum thermodynamics in the Bloch sphere: temperature and internal entropy production [68.8204255655161]
  オープンな2レベル量子系の温度に対する明示的な表現を得る。 この温度は、システムが熱貯水池と熱平衡に達すると環境温度と一致する。 この理論の枠組みでは、全エントロピー生産は2つの貢献に分けることができる。
  論文  参考訳（メタデータ） (2020-04-09T23:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。