論文の概要: The Lattice Overparametrization Paradigm for the Machine Learning of
Lattice Operators
- arxiv url: http://arxiv.org/abs/2310.06639v2
- Date: Fri, 26 Jan 2024 21:31:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 21:47:24.615496
- Title: The Lattice Overparametrization Paradigm for the Machine Learning of
Lattice Operators
- Title（参考訳）: 格子演算子の機械学習のための格子過度パラメータ
- Authors: Diego Marcondes and Junior Barrera
- Abstract要約: 本稿では,格子内の要素を介してクラスを過度にパラメータ化することにより,格子内の関数を最小化するアルゴリズムを適用する学習パラダイムについて論じる。
この学習パラダイムには、制御、透明性、解釈可能性という、ニューラルネットワークに基づく現代的な手法に欠けている3つの特性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The machine learning of lattice operators has three possible bottlenecks.
From a statistical standpoint, it is necessary to design a constrained class of
operators based on prior information with low bias, and low complexity relative
to the sample size. From a computational perspective, there should be an
efficient algorithm to minimize an empirical error over the class. From an
understanding point of view, the properties of the learned operator need to be
derived, so its behavior can be theoretically understood. The statistical
bottleneck can be overcome due to the rich literature about the representation
of lattice operators, but there is no general learning algorithm for them. In
this paper, we discuss a learning paradigm in which, by overparametrizing a
class via elements in a lattice, an algorithm for minimizing functions in a
lattice is applied to learn. We present the stochastic lattice descent
algorithm as a general algorithm to learn on constrained classes of operators
as long as a lattice overparametrization of it is fixed, and we discuss
previous works which are proves of concept. Moreover, if there are algorithms
to compute the basis of an operator from its overparametrization, then its
properties can be deduced and the understanding bottleneck is also overcome.
This learning paradigm has three properties that modern methods based on neural
networks lack: control, transparency and interpretability. Nowadays, there is
an increasing demand for methods with these characteristics, and we believe
that mathematical morphology is in a unique position to supply them. The
lattice overparametrization paradigm could be a missing piece for it to achieve
its full potential within modern machine learning.
- Abstract（参考訳）: 格子演算子の機械学習には3つのボトルネックがある。
統計的観点からは、バイアスが低く、サンプルサイズに対する複雑さが低い事前情報に基づいて、制約のある演算子のクラスを設計する必要がある。
計算の観点からは、クラス上で経験的エラーを最小化する効率的なアルゴリズムが存在するべきである。
理解の観点からは、学習した作用素の性質を導出する必要があるので、その振る舞いは理論的に理解することができる。
統計的ボトルネックは、格子作用素の表現に関する豊富な文献によって克服できるが、それらの一般的な学習アルゴリズムは存在しない。
本稿では,格子内の要素を介してクラスを過度にパラメータ化することで,格子内の関数を最小化するアルゴリズムを適用した学習パラダイムについて述べる。
確率的格子降下アルゴリズムを一般のアルゴリズムとして提示し,その格子オーバーパラメトリゼーションが固定されている限り作用素の制約付きクラスについて学習し,概念の証明となる先行研究について考察する。
さらに、演算子の基礎を過度なパラメータ化から計算するアルゴリズムが存在する場合、その特性を推定することができ、理解ボトルネックも克服される。
この学習パラダイムには、ニューラルネットワークに基づく現代的な手法に欠けている3つの特性がある。
今日ではこれらの特徴を持つ手法の需要が高まっており、数学的形態学はそれらを供給するためのユニークな立場にあると考えている。
lattice overparametrizationパラダイムは、現代の機械学習においてその潜在能力を最大限に発揮する上で欠落している部分かもしれない。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Limits and Powers of Koopman Learning [0.0]
力学系は様々な科学にまたがって複雑で変化する振る舞いを研究する包括的方法を提供する。
クープマン作用素は、線形手法を用いた非線形力学の研究を可能にするため、支配的なアプローチとして現れてきた。
テキスト 動的システムの軌道データからクープマン作用素のスペクトル特性を頑健に学習することは可能か?
論文 参考訳（メタデータ） (2024-07-08T18:24:48Z) - Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective [2.375038919274297]
この研究は、リプシッツ連続作用素の一般クラスに対する神経作用素近似の複雑さに対処する。
我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの低い境界を確立することである。
使用したアクティベーション関数にかかわらず、近似精度が$epsilon$に達する神経オペレーターアーキテクチャは、$epsilon-1$で指数関数的に大きいサイズでなければならない。
論文 参考訳（メタデータ） (2024-06-26T23:36:46Z) - A General Framework for Learning from Weak Supervision [93.89870459388185]
本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。
GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。
また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-02T21:48:50Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - An Introduction to Kernel and Operator Learning Methods for
Homogenization by Self-consistent Clustering Analysis [0.48747801442240574]
本稿では,演算子学習パラダイムの数学的基盤に関する詳細な分析について述べる。
提案したカーネル演算子学習法は,グラフカーネルネットワークを用いて,マルチスケール均質化のための機械的縮小順序法を考案する。
論文 参考訳（メタデータ） (2022-12-01T02:36:16Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Demystifying Deep Neural Networks Through Interpretation: A Survey [3.566184392528658]
現代のディープラーニングアルゴリズムは、トレーニングデータセットにおけるクロスエントロピー損失を最小限に抑えるなど、客観的なメトリックを最適化して学習する傾向にある。
問題は、単一の計量が現実世界のタスクの不完全な記述であることだ。
ニューラルネットワークの振る舞いや思考プロセスに関する洞察を提供するために、解釈可能性という問題に取り組む作業が行われている。
論文 参考訳（メタデータ） (2020-12-13T17:56:41Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳（メタデータ） (2020-11-17T12:39:44Z) - An Advance on Variable Elimination with Applications to Tensor-Based
Computation [11.358487655918676]
本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。
結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
論文 参考訳（メタデータ） (2020-02-21T14:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。