論文の概要: Order Theory in the Context of Machine Learning: an application

• arxiv url: http://arxiv.org/abs/2412.06097v1
• Date: Sun, 08 Dec 2024 22:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:56:40.219622
• Title: Order Theory in the Context of Machine Learning: an application
• Title（参考訳）: 機械学習の文脈における秩序理論--応用
• Authors: Eric Dolores-Cuenca, Aldo Guzman-Saenz, Sangil Kim, Susana Lopez-Moreno, Jose Mendoza-Cortes,
• Abstract要約: 関連するポリトープが順序ポリトープであるニューラルネットワークについて検討する。 提案手法は,畳み込みフィルタを2時間2ドルと解釈できるニューラルネットワークをいかに誘導するかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The paper ``Tropical Geometry of Deep Neural Networks'' by L. Zhang et al. introduces an equivalence between integer-valued neural networks (IVNN) with activation $\text{ReLU}_{t}$ and tropical rational functions, which come with a map to polytopes. Here, IVNN refers to a network with integer weights but real biases, and $\text{ReLU}_{t}$ is defined as $\text{ReLU}_{t}(x)=\max(x,t)$ for $t\in\mathbb{R}\cup\{-\infty\}$. For every poset with $n$ points, there exists a corresponding order polytope, i.e., a convex polytope in the unit cube $[0,1]^n$ whose coordinates obey the inequalities of the poset. We study neural networks whose associated polytope is an order polytope. We then explain how posets with four points induce neural networks that can be interpreted as $2\times 2$ convolutional filters. These poset filters can be added to any neural network, not only IVNN. Similarly to maxout, poset convolutional filters update the weights of the neural network during backpropagation with more precision than average pooling, max pooling, or mixed pooling, without the need to train extra parameters. We report experiments that support our statements. We also prove that the assignment from a poset to an order polytope (and to certain tropical polynomials) is one to one, and we define the structure of algebra over the operad of posets on tropical polynomials.
• Abstract（参考訳）: L. Zhangらによる論文 ' ‘Tropical Geometry of Deep Neural Networks'' では、整数値ニューラルネットワーク(IVNN)とアクティベーション$\text{ReLU}_{t}$と、ポリトープへの写像を持つ熱帯有理関数の等価性が紹介されている。 ここで、IVNNは整数重みを持つネットワークを指すが、真のバイアスを持つ。$\text{ReLU}_{t}$ は $\text{ReLU}_{t}(x)=\max(x,t)$ for $t\in\mathbb{R}\cup\{-\infty\}$ と定義される。 n$ の点を持つすべての列に対して、対応する位数ポリトープ(つまり、単位立方体 $[0,1]^n$ 内の凸ポリトープ)が存在し、その座標はその列の不等式に従う。 関連するポリトープが順序ポリトープであるニューラルネットワークについて検討する。 次に、4点を持つポーズがニューラルネットワークを誘導し、それを2ドルで畳み込みフィルタと解釈する方法について説明する。 これらの擬似フィルタは、IVNNだけでなく、任意のニューラルネットワークに付加することができる。 マストアウトと同様に、ポーズト畳み込みフィルタは、平均プール、最大プール、混合プールよりも精度の高いバックプロパゲーション中に、余分なパラメータを訓練することなく、ニューラルネットワークの重みを更新する。 声明を支持する実験を報告する。 また、列から順序ポリトープ(およびある種の熱帯多項式)への割り当てが 1 対 1 であることも証明し、熱帯多項式上の列の操作上の代数の構造を定義する。

関連論文リスト

• Neural Networks and (Virtual) Extended Formulations [5.762677915745415]
  ニューラルネットワークのサイズに対する低い境界を、その代表的能力を拡張複雑性(mathrmxc(P)$)の概念にリンクすることで証明する。 通常の拡張複雑性の強力な結果は、モノトーンニューラルネットワークの下位境界に変換可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T11:12:11Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Most Neural Networks Are Almost Learnable [52.40331776572531]
  固定された$epsilon>0$とdeep $i$に対して、深さ$i$のランダムなXavierネットワークを学習するポリ時間アルゴリズムが存在することを示す。 このアルゴリズムは時間とサンプルの複雑さが$(bard)mathrmpoly(epsilon-1)$であり、$bar d$はネットワークのサイズである。 シグモイドやReLU様の活性化の場合、境界は$(bard)mathrmpolylog(eps)に改善できる。
  論文  参考訳（メタデータ） (2023-05-25T22:27:42Z)
• Deep ReLU Networks Have Surprisingly Simple Polytopes [30.417072051872726]
  ReLUネットワークはポリトープ上の一括線形関数である。 ポリトープの形状をポリトープの顔数を用いて検討する。 ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
  論文  参考訳（メタデータ） (2023-05-16T03:51:34Z)
• Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes [3.0079490585515343]
  我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。 この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
  論文  参考訳（メタデータ） (2023-02-24T10:14:53Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• A Corrective View of Neural Networks: Representation, Memorization and Learning [26.87238691716307]
  我々はニューラルネットワーク近似の補正機構を開発する。 ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。 また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-01T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。