論文の概要: Enhancing Edge Intelligence with Highly Discriminant LNT Features
- arxiv url: http://arxiv.org/abs/2312.14968v1
- Date: Tue, 19 Dec 2023 09:17:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-31 03:13:53.375776
- Title: Enhancing Edge Intelligence with Highly Discriminant LNT Features
- Title（参考訳）: 高識別性LNT特徴を用いたエッジインテリジェンスの向上
- Authors: Xinyu Wang, Vinod K. Mishra, C.-C. Jay Kuo
- Abstract要約: 我々は、入力特徴の適切な線形結合から、第1モジュールで得られるxで表される新しい識別特徴を導出する。
最小二乗正規変換(LNT)に基づく高度に識別された相補的特徴を生成する新しい教師付き学習法を提案する。
実験の結果,これらの特徴により分類性能が向上できることが示唆された。
- 参考スコア（独自算出の注目度）: 34.68386939969883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI algorithms at the edge demand smaller model sizes and lower computational
complexity. To achieve these objectives, we adopt a green learning (GL)
paradigm rather than the deep learning paradigm. GL has three modules: 1)
unsupervised representation learning, 2) supervised feature learning, and 3)
supervised decision learning. We focus on the second module in this work. In
particular, we derive new discriminant features from proper linear combinations
of input features, denoted by x, obtained in the first module. They are called
complementary and raw features, respectively. Along this line, we present a
novel supervised learning method to generate highly discriminant complementary
features based on the least-squares normal transform (LNT). LNT consists of two
steps. First, we convert a C-class classification problem to a binary
classification problem. The two classes are assigned with 0 and 1,
respectively. Next, we formulate a least-squares regression problem from the
N-dimensional (N-D) feature space to the 1-D output space, and solve the
least-squares normal equation to obtain one N-D normal vector, denoted by a1.
Since one normal vector is yielded by one binary split, we can obtain M normal
vectors with M splits. Then, Ax is called an LNT of x, where transform matrix A
in R^{M by N} by stacking aj^T, j=1, ..., M, and the LNT, Ax, can generate M
new features. The newly generated complementary features are shown to be more
discriminant than the raw features. Experiments show that the classification
performance can be improved by these new features.
- Abstract（参考訳）: エッジにおけるAIアルゴリズムは、より小さなモデルサイズとより低い計算複雑性を必要とする。
これらの目的を達成するため、深層学習パラダイムではなく、グリーンラーニング(GL)パラダイムを採用する。
GLには3つのモジュールがある。
1)教師なし表現学習
2)教師付き特徴学習、及び
3) 意思決定を監督する。
この作業では第2のモジュールに注目します。
特に、入力特徴の適切な線形結合から、第1モジュールで得られるxで表される新しい識別特徴を導出する。
これらはそれぞれ相補的特徴と生特徴と呼ばれる。
この線に沿って、最小二乗正規変換(LNT)に基づいて、高度に識別された相補的特徴を生成する新しい教師付き学習法を提案する。
LNTは2つのステップからなる。
まず, cクラス分類問題を二分分類問題に変換する。
2つのクラスはそれぞれ 0 と 1 で割り当てられる。
次に、N次元(N-D)特徴空間から1次元出力空間への最小二乗回帰問題を定式化し、最小二乗正規方程式を解いて、a1で表される1つのN-D正規ベクトルを得る。
1つの正規ベクトルは1つの二分分割によって生成されるので、M 分割を持つ M 正規ベクトルを得ることができる。
Ax は x の LNT と呼ばれ、aj^T, j=1, ..., M を積み重ねることで R^{M の変換行列 A が M の新たな特徴を生成できる。
新たに生成された相補的特徴は、原特徴よりも識別性が高い。
実験により,これらの新機能により分類性能が向上することが示された。
関連論文リスト
- Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations [40.77319247558742]
目的関数 $f_*:mathbbRdtomathbbR$ を加法構造で学習する際の計算複雑性について検討する。
2層ニューラルネットワークの勾配学習により,$f_*$の大規模なサブセットを効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-17T17:59:17Z) - Scale Equivariant Graph Metanetworks [20.445135424921908]
本稿では,入力が関数自身である学習機能という,新たな機械学習パラダイムについて述べる。
我々は、スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパッシング)パラダイムを適用するフレームワークである、$textitScale Equivariant Graph MetaNetworks - ScaleGMNs$を提案する。
論文 参考訳（メタデータ） (2024-06-15T16:41:04Z) - Cramer Type Distances for Learning Gaussian Mixture Models by Gradient
Descent [0.0]
今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。
一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。
これらの機能は、分散強化学習とディープQネットワークに特に有用である。
論文 参考訳（メタデータ） (2023-07-13T13:43:02Z) - Optimization-based Block Coordinate Gradient Coding for Mitigating
Partial Stragglers in Distributed Learning [58.91954425047425]
本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。
L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
論文 参考訳（メタデータ） (2022-06-06T09:25:40Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Statistical-Query Lower Bounds via Functional Gradients [19.5924910463796]
我々は、寛容$n- (1/epsilon)b$の統計クエリアルゴリズムは、一定の$bに対して少なくとも$2nc epsilon$クエリを使用する必要があることを示す。
実数値学習では珍しいSQ学習アルゴリズムが一般的である(相関学習とは対照的に)。
論文 参考訳（メタデータ） (2020-06-29T05:15:32Z) - Provably Efficient Reinforcement Learning for Discounted MDPs with
Feature Mapping [99.59319332864129]
本稿では,割引決定(MDP)のための強化学習について検討する。
本稿では,特徴写像を利用した新しいアルゴリズムを提案し,$tilde O(dsqrtT/ (1-gamma)2)$ regretを求める。
以上の結果から,提案した強化学習アルゴリズムは,最大1-γ-0.5$の係数でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-23T17:08:54Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳（メタデータ） (2020-03-30T08:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。