Fugu-MT 論文翻訳(概要): A Generalized Lottery Ticket Hypothesis

論文の概要: A Generalized Lottery Ticket Hypothesis

arxiv url: http://arxiv.org/abs/2107.06825v1
Date: Sat, 3 Jul 2021 20:01:24 GMT
ステータス: 処理完了
システム内更新日: 2021-07-18 12:25:25.093353
Title: A Generalized Lottery Ticket Hypothesis
Title（参考訳）: 一般化されたロッキーチケット仮説
Authors: Ibrahim Alabdulmohsin, Larisa Markeeva, Daniel Keysers, Ilya Tolstikhin
Abstract要約: 本稿では,パラメータ空間の任意の基底を選択することで,「スパーシティ」の概念を緩和する抽選券仮説の一般化を提案する。本研究は, 標準ベースで報告された当初の結果が, より広い範囲で維持されている証拠を提示する。
参考スコア（独自算出の注目度）: 2.507029788458086
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a generalization to the lottery ticket hypothesis in which the notion of "sparsity" is relaxed by choosing an arbitrary basis in the space of parameters. We present evidence that the original results reported for the canonical basis continue to hold in this broader setting. We describe how structured pruning methods, including pruning units or factorizing fully-connected layers into products of low-rank matrices, can be cast as particular instances of this "generalized" lottery ticket hypothesis. The investigations reported here are preliminary and are provided to encourage further research along this direction.
Abstract（参考訳）: 本稿では,パラメータ空間の任意の基底を選択することで,「スパーシティ」の概念を緩和する抽選券仮説の一般化を提案する。本研究は, 標準ベースで報告された当初の結果が, より広い範囲で維持されている証拠を提示する。本稿では,この「一般化」抽選券仮説の具体例として,プルーニング単位や完全連結層を低ランク行列の積に分解する構造的プルーニング手法について述べる。ここで報告された調査は予備的であり、この方向に関するさらなる研究を促進するために提供される。

関連論文リスト

Generalized Laplace Approximation [23.185126261153236]
我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
論文参考訳（メタデータ） (2024-05-22T11:11:42Z)
Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures [14.408127155170774]
我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
論文参考訳（メタデータ） (2024-02-19T10:15:11Z)
Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文参考訳（メタデータ） (2023-12-28T02:52:54Z)
Domain Generalization via Rationale Invariance [70.32415695574555]
本稿では,未確認環境においてもロバストな結果の維持を伴う領域一般化の課題を緩和する新たな視点を提供する。本稿では,最終結果に対する要素的貢献を決定の根拠として扱い,各試料の根拠を行列として表現することを提案する。提案手法は, 単純性に拘わらず, 様々なデータセット間で競合する結果が得られることを示す。
論文参考訳（メタデータ） (2023-08-22T03:31:40Z)
Open-Set Likelihood Maximization for Few-Shot Learning [36.97433312193586]
我々はFew-Shot Open-Set Recognition (FSOSR) 問題、すなわちいくつかのラベル付きサンプルしか持たないクラスのインスタンスを分類する問題に取り組む。提案手法では,推論時に非競合なクエリインスタンスを利用する。既存のトランスダクティブ手法はオープンセットのシナリオではうまく動作しないという観測により,最大極大原理の一般化を提案する。
論文参考訳（メタデータ） (2023-01-20T01:56:19Z)
Exact Recovery in the General Hypergraph Stochastic Block Model [92.28929858529679]
本稿では,d-uniform hypergraph block model(d-HSBM)の正確な回復の基本的な限界について検討する。精度の高いしきい値が存在し、正確な回復がしきい値の上に達成でき、その下には不可能であることを示す。
論文参考訳（メタデータ） (2021-05-11T03:39:08Z)
Empirically Verifying Hypotheses Using Reinforcement Learning [58.09414653169534]
本稿では,仮説検証をRL問題として定式化する。我々は、世界の力学に関する仮説を前提として、仮説が真か偽かを予測するのに役立つ観測結果を生成することができるエージェントを構築することを目指している。
論文参考訳（メタデータ） (2020-06-29T01:01:10Z)
Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data [4.56877715768796]
この研究は、部分指数データの仮定の下で一般化されたラッソの非漸近解析を行う。本稿では,ジェネリックチェインに基づく証明戦略から自然に生じる2つの複雑性パラメータを用いて,推定誤差を制御できることを示す。
論文参考訳（メタデータ） (2020-04-11T10:39:48Z)
Generalized Sliced Distances for Probability Distributions [47.543990188697734]
我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。 GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。 GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
論文参考訳（メタデータ） (2020-02-28T04:18:00Z)
On the Replicability of Combining Word Embeddings and Retrieval Models [71.18271398274513]
我々は、Fisherカーネルフレームワークの使用に関する魅力的な仮説を実証しようとする最近の実験を再現する。具体的には、von Mises-Fisher (VMF) 分布の混合モデルを使用することは、VMF とベクトル空間モデルの両方の余弦距離に焦点をあてることによって有益である。
論文参考訳（メタデータ） (2020-01-13T19:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。