論文の概要: Fast Swap-Based Element Selection for Multiplication-Free Dimension Reduction

• arxiv url: http://arxiv.org/abs/2602.13532v1
• Date: Sat, 14 Feb 2026 00:11:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.133836
• Title: Fast Swap-Based Element Selection for Multiplication-Free Dimension Reduction
• Title（参考訳）: 乗算自由次元化のための高速スワップベース要素選択法
• Authors: Nobutaka Ono,
• Abstract要約: 本稿では,要素のサブセットを入力から選択することで,次元還元ベクトルを生成する高速な要素選択アルゴリズムを提案する。 MNIST手書きデジタル画像の実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 8.81314696375596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a fast algorithm for element selection, a multiplication-free form of dimension reduction that produces a dimension-reduced vector by simply selecting a subset of elements from the input. Dimension reduction is a fundamental technique for reducing unnecessary model parameters, mitigating overfitting, and accelerating training and inference. A standard approach is principal component analysis (PCA), but PCA relies on matrix multiplications; on resource-constrained systems, the multiplication count itself can become a bottleneck. Element selection eliminates this cost because the reduction consists only of selecting elements, and thus the key challenge is to determine which elements should be retained. We evaluate a candidate subset through the minimum mean-squared error of linear regression that predicts a target vector from the selected elements, where the target may be, for example, a one-hot label vector in classification. When an explicit target is unavailable, the input itself can be used as the target, yielding a reconstruction-based criterion. The resulting optimization is combinatorial, and exhaustive search is impractical. To address this, we derive an efficient formula for the objective change caused by swapping a selected and an unselected element, using the matrix inversion lemma, and we perform a swap-based local search that repeatedly applies objective-decreasing swaps until no further improvement is possible. Experiments on MNIST handwritten-digit images demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 本稿では,要素のサブセットを入力から選択するだけで次元還元ベクトルを生成する,要素選択のための高速アルゴリズムを提案する。 次元減少は、不要なモデルパラメータを減らし、オーバーフィッティングを緩和し、トレーニングと推論を加速するための基本的な技術である。 標準的なアプローチは主成分分析(PCA)であるが、PCAは行列乗法に依存している。 要素選択は、要素の選択のみで構成されるため、このコストを排除します。 選択された要素から対象ベクトルを予測する線形回帰の最小平均二乗誤差を用いて候補部分集合を評価する。 明示的なターゲットが利用できない場合、入力自体をターゲットとして使用することができ、再構成ベースの基準が得られる。 結果として得られる最適化は組合せ的であり、徹底的な探索は実用的ではない。 これを解決するために,選択された要素と選択されていない要素をリプレースすることで生じる目的変化の効率的な公式を行列逆転補題を用いて導出し,さらに改善が得られないまで反復的に客観的なスワップを適用可能なスワップベースの局所探索を行う。 MNIST手書きデジタル画像の実験により,提案手法の有効性が示された。

関連論文リスト

• Novel Pivoted Cholesky Decompositions for Efficient Gaussian Process Inference [2.8391355909797644]
  コレスキー分解は、対称行列と正定値行列を持つ線形系を解くための基本的なツールである。 行列の行と列を反復的に置換するピボット戦略を導入する。 その結果,提案する選択戦略は同等か,あるいはほとんどの場合,従来のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-07-28T10:01:43Z)
• Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
  部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。 本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。 2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Causal Unit Selection using Tractable Arithmetic Circuits [12.223629720083148]
  制約木幅によって必ずしも制限されない単位選択に対する新しいアプローチを導入する。 これはメタモデルを特別な計算回路のクラスにコンパイルすることで実現される。
  論文  参考訳（メタデータ） (2024-04-10T02:02:34Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm [0.0]
  ランク明示QR(RRQR)因子化は、新しい教師なし特徴選択技術として最も情報性の高い特徴を得るのに活用される。 フィルタベース手法としてRRQRとラッパーベース手法として遺伝的アルゴリズムを組み合わせたハイブリッド特徴選択アルゴリズムを提案する。 提案アルゴリズムは、教師付き、教師なし、および半教師付き設定における最先端の特徴選択アルゴリズムと比較した場合、信頼性と堅牢性を示す。
  論文  参考訳（メタデータ） (2022-10-02T04:04:47Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Optimal Clustering from Noisy Binary Feedback [75.17453757892152]
  本稿では,二元的ユーザフィードバックから一組のアイテムをクラスタリングする問題について検討する。 最小クラスタ回復誤差率のアルゴリズムを考案する。 適応選択のために,情報理論的誤差下界の導出にインスパイアされたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2019-10-14T09:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。