Fugu-MT 論文翻訳(概要): Entropic alternatives to initialization

論文の概要: Entropic alternatives to initialization

arxiv url: http://arxiv.org/abs/2107.07757v1
Date: Fri, 16 Jul 2021 08:17:32 GMT
ステータス: 処理完了
システム内更新日: 2021-07-19 20:44:49.050941
Title: Entropic alternatives to initialization
Title（参考訳）: 初期化のエントロピー的代替
Authors: Daniele Musso
Abstract要約: 統計物理学および情報理論の言語における異方性局所的エントロピー滑らか化の解析を行う。我々は、再正規化の物理と畳み込みネットワークの時空構造に関するいくつかの側面を論じる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Local entropic loss functions provide a versatile framework to define architecture-aware regularization procedures. Besides the possibility of being anisotropic in the synaptic space, the local entropic smoothening of the loss function can vary during training, thus yielding a tunable model complexity. A scoping protocol where the regularization is strong in the early-stage of the training and then fades progressively away constitutes an alternative to standard initialization procedures for deep convolutional neural networks, nonetheless, it has wider applicability. We analyze anisotropic, local entropic smoothenings in the language of statistical physics and information theory, providing insight into both their interpretation and workings. We comment some aspects related to the physics of renormalization and the spacetime structure of convolutional networks.
Abstract（参考訳）: 局所エントロピー損失関数は、アーキテクチャ認識正規化手順を定義するための汎用フレームワークを提供する。シナプス空間における異方性の可能性に加えて、損失関数の局所的なエントロピー滑らか化は訓練中に変化し、調整可能なモデル複雑性をもたらす。トレーニングの初期段階で正規化が強く、その後徐々にフェードアウトするスコーピングプロトコルは、ディープ畳み込みニューラルネットワークの標準的な初期化手順の代替となるが、それでもより広い適用性を有する。統計物理学と情報理論の言語における異方的局所的エントロピーな平滑化を解析し,その解釈と働きの両方について洞察を与える。我々は、再正規化の物理と畳み込みネットワークの時空構造に関するいくつかの側面を論じる。

関連論文リスト

Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文参考訳（メタデータ） (2024-09-17T08:09:22Z)
Neural Incremental Data Assimilation [8.817223931520381]
ニューラルネットワークによってパラメータ化された粗いガウス分布の列として物理系をモデル化する深層学習手法を提案する。これにより、再構築エラーを最小限に抑えるためにエンドツーエンドで訓練された同化演算子を定義することができる。本稿では,疎度観測によるカオス力学系へのアプローチについて述べるとともに,従来の変分データ同化法と比較する。
論文参考訳（メタデータ） (2024-06-21T11:42:55Z)
Modeling Spatio-temporal Dynamical Systems with Neural Discrete Learning and Levels-of-Experts [33.335735613579914]
本稿では,ビデオフレームなどの観測結果に基づいて,時間・動的システムの状態変化をモデル化し,推定することの課題に対処する。本稿では、一般的な物理プロセスの法則をデータ駆動方式で捉えるために、ユニバーサルエキスパートモジュール、すなわち光フロー推定コンポーネントを提案する。我々は、既存のSOTAベースラインと比較して、提案フレームワークが大きなパフォーマンスマージンを達成することを示すため、広範囲な実験と改善を実施している。
論文参考訳（メタデータ） (2024-02-06T06:27:07Z)
Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文参考訳（メタデータ） (2023-12-28T17:50:56Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Physics informed neural networks for continuum micromechanics [68.8204255655161]
近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
論文参考訳（メタデータ） (2021-10-14T14:05:19Z)
Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文参考訳（メタデータ） (2021-09-02T16:06:45Z)
Partial local entropy and anisotropy in deep weight spaces [0.0]
我々は、最近提案された局所エントロピー損失関数のクラスを、平滑化正規化をウェイトの部分集合に限定することで洗練する。新しい損失関数は部分局所エントロピーと呼ばれ、重み空間の異方性に適応し、等方性に優れる。
論文参考訳（メタデータ） (2020-07-17T16:16:18Z)
Phase space learning with neural networks [0.0]
本研究では、部分微分方程式(PDE)を解く投影型手法の非線形一般化としてのオートエンコーダニューラルネットワークを提案する。提案したディープラーニングアーキテクチャは、中間再構成なしに非常に少ない潜在空間に完全に統合することでPDEのダイナミクスを生成でき、その後、潜在解を元の空間に復号することができる。単一経路のサンプルデータから動的システムの位相空間のグローバルな特性を学習するために、適切に正規化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力を示す。
論文参考訳（メタデータ） (2020-06-22T20:28:07Z)
A nonlocal physics-informed deep learning framework using the peridynamic differential operator [0.0]
本研究では,長距離相互作用を組み込んだ数値計算法であるPeridynamic Differential Operator (PDDO) を用いた非局所PINN手法を開発した。 PDDO関数はニューラルネットワークアーキテクチャに容易に組み込むことができるため、非局所性は現代のディープラーニングアルゴリズムの性能を低下させることはない。本稿では,非局所PINNの解法精度とパラメータ推定の両方において,局所PINNに対して優れた振る舞いを示す。
論文参考訳（メタデータ） (2020-05-31T06:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。