論文の概要: Heuristic Rank Selection with Progressively Searching Tensor Ring Network

• arxiv url: http://arxiv.org/abs/2009.10580v2
• Date: Sun, 30 May 2021 08:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 21:30:49.573873
• Title: Heuristic Rank Selection with Progressively Searching Tensor Ring Network
• Title（参考訳）: 漸進探索テンソルリングネットワークを用いたヒューリスティックランク選択
• Authors: Nannan Li, Yu Pan, Yaran Chen, Zixiang Ding, Dongbin Zhao, Zenglin Xu
• Abstract要約: リングネットワーク(TRN)はディープネットワークに適用され、圧縮比と精度において顕著な成功を収めている。 本稿では,PSTRN (Progressive Searching Ring Network Search) という遺伝的アルゴリズムを提案する。 提案手法は, MNIST, CIFAR10/100, UCF11, HMDB51などの公開ベンチマークで検証され, 最先端性能を実現している。
• 参考スコア（独自算出の注目度）: 25.003013285907524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Tensor Ring Networks (TRNs) have been applied in deep networks, achieving remarkable successes in compression ratio and accuracy. Although highly related to the performance of TRNs, rank selection is seldom studied in previous works and usually set to equal in experiments. Meanwhile, there is not any heuristic method to choose the rank, and an enumerating way to find appropriate rank is extremely time-consuming. Interestingly, we discover that part of the rank elements is sensitive and usually aggregate in a narrow region, namely an interest region. Therefore, based on the above phenomenon, we propose a novel progressive genetic algorithm named Progressively Searching Tensor Ring Network Search (PSTRN), which has the ability to find optimal rank precisely and efficiently. Through the evolutionary phase and progressive phase, PSTRN can converge to the interest region quickly and harvest good performance. Experimental results show that PSTRN can significantly reduce the complexity of seeking rank, compared with the enumerating method. Furthermore, our method is validated on public benchmarks like MNIST, CIFAR10/100, UCF11 and HMDB51, achieving the state-of-the-art performance.
• Abstract（参考訳）: 近年, テンソルリングネットワーク (TRN) が深層ネットワークに適用され, 圧縮率と精度が著しく向上している。 TRNの性能には高い関係があるが、ランク選択は以前の研究ではほとんど研究されず、通常実験では等しく設定される。 一方、ランクを選択するヒューリスティックな方法はなく、適切なランクを見つけるための数え方は非常に時間がかかる。 興味深いことに、ランク要素の一部は感度が高く、通常は狭い領域、すなわち興味のある領域に集約されている。 そこで,上記の現象に基づき,最適ランクを高精度かつ効率的に探索する能力を有する,プログレッシブ探索型テンソルリングネットワーク探索 (pstrn) という新しいプログレッシブ遺伝的アルゴリズムを提案する。 進化段階および進行段階を通じて、PSTRNは興味領域に迅速に収束し、良好な性能を得ることができる。 実験の結果,PSTRNは列挙法と比較して,探索ランクの複雑さを著しく低減できることがわかった。 さらに,本手法はMNIST, CIFAR10/100, UCF11, HMDB51などの公開ベンチマークで検証され, 最先端性能を実現している。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• BOND: Aligning LLMs with Best-of-N Distillation [63.254031574394965]
  BOND(Best-of-N Distillation)は,Best-of-Nをエミュレートする新しいRLHFアルゴリズムである。 具体的には、BONDは、ポリシーから世代分布をBest-of-N分布に近づけるように強制する分布マッチングアルゴリズムである。 本稿では,抽象的な要約モデルとGemmaモデルの実験を通じて,提案手法の有効性といくつかの設計選択を実証する。
  論文  参考訳（メタデータ） (2024-07-19T18:38:25Z)
• Random Search as a Baseline for Sparse Neural Network Architecture Search [0.0]
  スパースニューラルネットワークは、高いパラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い性能を示している。 これは、高性能なスパースネットワークを学習したり、検索したりするための多くの研究の動機となった。 本稿では,適切なスパース構成を求めるためのベースラインアルゴリズムとしてランダム検索を提案し,その性能について検討する。 本研究では,このスパースアーキテクチャ探索タスクにおいて,ランダムサーチによって発見されたスパースネットワークは,ランダムサーチよりも効率よくも効率良くも収束もできないことを観察する。
  論文  参考訳（メタデータ） (2024-03-13T05:32:13Z)
• AANet: Aggregation and Alignment Network with Semi-hard Positive Sample Mining for Hierarchical Place Recognition [48.043749855085025]
  視覚的位置認識(VPR)はロボット工学におけるホットスポットの一つで、視覚情報を用いてロボットの位置を特定する。 本稿では,アグリゲーションモジュールを介して候補を検索するためのグローバルな特徴を抽出できる統一ネットワークを提案する。 また、より堅牢なVPRネットワークをトレーニングするために、適切なハード正のイメージを選択するためのセミハード正のサンプルマイニング(ShPSM)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-08T14:46:11Z)
• RankDNN: Learning to Rank for Few-shot Learning [70.49494297554537]
  本稿では、画像検索の関連性ランキングをバイナリランキング関係分類として活用する、新しい数ショット学習パイプラインを提案する。 これは、数ショットの学習に関する新しい視点を提供し、最先端の手法を補完する。
  論文  参考訳（メタデータ） (2022-11-28T13:59:31Z)
• Heuristic Search for Rank Aggregation with Application to Label Ranking [16.275063634853584]
  本稿では,階層化問題を解くために,効果的なハイブリッド進化的ランキングアルゴリズムを提案する。 このアルゴリズムは、コンコーダントペアに基づくセマンティッククロスオーバーと、効率的な漸進的評価手法によって強化された遅延受容局所探索を特徴とする。 アルゴリズムを評価するために実験が行われ、ベンチマークインスタンス上での高い競争性能を示す。
  論文  参考訳（メタデータ） (2022-01-11T11:43:17Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Temporal Action Localization Using Gated Recurrent Units [6.091096843566857]
  本稿では, Gated Recurrent Unit (GRU) に基づく新しいネットワークと, TALタスクのための2つの新しい後処理手法を提案する。 具体的には、GRU-Splittedモデルと呼ばれる、GRUの出力層に対する新しい設計を提案する。 提案手法の性能を最先端手法と比較して評価する。
  論文  参考訳（メタデータ） (2021-08-07T06:25:29Z)
• Query-level Early Exit for Additive Learning-to-Rank Ensembles [14.240566571342924]
  検索エンジンランキングパイプラインは通常、マシン学習決定ツリーの大規模なアンサンブルに基づいている。 本稿では,テクストレベルの早期退避問題について検討する。 NDCG@10では,クエリレベルの早期終了が最大7.5%向上し,スコアリングプロセスの高速化が最大2.2倍になることを示す。
  論文  参考訳（メタデータ） (2020-04-30T08:59:45Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。