論文の概要: Efficient Maximal Coding Rate Reduction by Variational Forms

• arxiv url: http://arxiv.org/abs/2204.00077v1
• Date: Thu, 31 Mar 2022 20:39:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 02:39:06.934821
• Title: Efficient Maximal Coding Rate Reduction by Variational Forms
• Title（参考訳）: 変分形式による効率的な最大符号化率の低減
• Authors: Christina Baek, Ziyang Wu, Kwan Ho Ryan Chan, Tianjiao Ding, Yi Ma, Benjamin D. Haeffele
• Abstract要約: 我々は,最大符号化率低下の原理を,訓練精度を損なうことなく大幅にスケール可能な形式に再構成する。 画像分類実験により,提案した定式化が元のMCR$2$目標値の最適化よりも大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 25.1177997721719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The principle of Maximal Coding Rate Reduction (MCR$^2$) has recently been proposed as a training objective for learning discriminative low-dimensional structures intrinsic to high-dimensional data to allow for more robust training than standard approaches, such as cross-entropy minimization. However, despite the advantages that have been shown for MCR$^2$ training, MCR$^2$ suffers from a significant computational cost due to the need to evaluate and differentiate a significant number of log-determinant terms that grows linearly with the number of classes. By taking advantage of variational forms of spectral functions of a matrix, we reformulate the MCR$^2$ objective to a form that can scale significantly without compromising training accuracy. Experiments in image classification demonstrate that our proposed formulation results in a significant speed up over optimizing the original MCR$^2$ objective directly and often results in higher quality learned representations. Further, our approach may be of independent interest in other models that require computation of log-determinant forms, such as in system identification or normalizing flow models.
• Abstract（参考訳）: 最大符号化速度削減(MCR$^2$)の原理は,高次元データに固有の識別的低次元構造を学習し,クロスエントロピー最小化のような標準的な手法よりも堅牢なトレーニングを可能にするための訓練目標として提案されている。 しかし、mcr$^2$トレーニングで示された利点にもかかわらず、mcr$^2$は、クラス数に線形に成長するかなりの数のログ決定項を評価し、区別する必要があるため、かなりの計算コストに苦しんでいる。 行列のスペクトル関数の変動形式を利用して、MCR$^2$の目的をトレーニング精度を損なうことなく大幅にスケールできる形式に再構成する。 画像分類実験により,提案した定式化は,MCR$^2$目標を直接最適化するよりも大幅に高速化され,高い品質の学習表現が得られることが示された。 さらに,本手法は,システム同定や正規化フローモデルなど,対数決定型の計算を必要とする他のモデルにも依存する可能性がある。

関連論文リスト

• Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling [0.0]
  畳み込みニューラルネットワーク(CNN)はそのようなサロゲートモデルの基礎として人気を集めている。 本稿では,$d$次元問題と$d-1$次元近似の両方に対する数値解の混合によるCNN代理モデルのトレーニングを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2024-10-16T05:07:48Z)
• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs [16.006893624836554]
  本稿では,VBMLE (Value-Biased Maximum Likelihood Estimation) のレンズによる線形MDPの解法を提案する。 VBMLEは、各時間ステップで1つの最適化問題だけを解決する必要があるため、計算的により効率的である。 後悔する解析では、線形MDPにおけるMLEの一般収束結果が、新しいスーパーマーチンゲール構造を通して提供される。
  論文  参考訳（メタデータ） (2023-10-17T18:27:27Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• A Minimax Probability Machine for Non-Decomposable Performance Measures [15.288802707471792]
  不均衡な分類タスクは多くの現実世界のアプリケーションで広く使われている。 minimax確率機械はバイナリ分類問題の一般的な方法である。 本稿では,不均衡な分類タスクを扱うために使用できる,$f_beta$測度のための新しい minimax 確率マシン mpmf を開発した。
  論文  参考訳（メタデータ） (2021-02-28T04:58:46Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。