論文の概要: Teach me how to Interpolate a Myriad of Embeddings
- arxiv url: http://arxiv.org/abs/2206.14868v1
- Date: Wed, 29 Jun 2022 19:16:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 08:56:56.273542
- Title: Teach me how to Interpolate a Myriad of Embeddings
- Title（参考訳）: 沢山の埋め込みを補間する方法を教えてください
- Authors: Shashanka Venkataramanan, Ewa Kijak, Laurent Amsaleg, Yannis Avrithis
- Abstract要約: Mixupはデータベースの拡張を指し、元々は経験的リスク最小化を超える方法として動機付けられていた。
長さ$m$の任意の数値$n$を補間するMultiMixを紹介します。
コントリビューションは4つのベンチマーク上での最先端の混合手法よりも大幅に改善される。
- 参考スコア（独自算出の注目度）: 18.711509039868655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixup refers to interpolation-based data augmentation, originally motivated
as a way to go beyond empirical risk minimization (ERM). Yet, its extensions
focus on the definition of interpolation and the space where it takes place,
while the augmentation itself is less studied: For a mini-batch of size $m$,
most methods interpolate between $m$ pairs with a single scalar interpolation
factor $\lambda$.
In this work, we make progress in this direction by introducing MultiMix,
which interpolates an arbitrary number $n$ of tuples, each of length $m$, with
one vector $\lambda$ per tuple. On sequence data, we further extend to dense
interpolation and loss computation over all spatial positions. Overall, we
increase the number of tuples per mini-batch by orders of magnitude at little
additional cost. This is possible by interpolating at the very last layer
before the classifier. Finally, to address inconsistencies due to linear target
interpolation, we introduce a self-distillation approach to generate and
interpolate synthetic targets.
We empirically show that our contributions result in significant improvement
over state-of-the-art mixup methods on four benchmarks. By analyzing the
embedding space, we observe that the classes are more tightly clustered and
uniformly spread over the embedding space, thereby explaining the improved
behavior.
- Abstract（参考訳）: Mixupは補間に基づくデータ拡張を指し、元々は経験的リスク最小化(ERM)を超える方法として動機付けられた。
しかし、その拡張は補間の定義とそれが起こる空間に焦点をあてる一方で、拡張自体の研究は少ない: サイズ$m$のミニバッチの場合、ほとんどのメソッドは、単一のスカラー補間係数$\lambda$を持つ$m$ペアの間で補間する。
タプルの任意の数 $n$ を補間し、長さ $m$ とタプルあたり 1 つのベクトル $\lambda$ を補間する multimix を導入することで、この方向を前進させる。
シーケンスデータでは、全ての空間位置における密補間と損失計算にさらに拡張する。
全体として、ミニバッチあたりのタプル数は桁違いに増加し、追加コストはほとんどありません。
これは分類器の前の最後の層で補間することで可能となる。
最後に, 線形対象補間による不整合に対処するため, 合成対象を生成および補間するための自己蒸留法を提案する。
4つのベンチマークにおいて,我々のコントリビューションが最先端の混合手法よりも大幅に改善されることを実証的に示す。
組込み空間を解析することにより,クラスがより密集し,組込み空間に均一に広がることを観察し,改良された振る舞いを説明する。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-01-18T11:32:50Z) - Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond
Examples [20.76232390972057]
ミニバッチサイズを超える多数のサンプルを任意に生成するMultiMixを導入する。
また,各空間位置における特徴と目標ラベルを密接に補間し,損失を密に適用する。
提案手法は, 線形であるにもかかわらず, 4つの異なるベンチマークにおいて, 最先端の混合手法よりも大幅に改善された。
論文 参考訳（メタデータ） (2023-11-09T17:34:53Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Learning in High Dimension Always Amounts to Extrapolation [22.220076291384686]
外挿は、凸殻の外側に$x$が落ちるときに起こる。
多くの直観や理論はこの仮定に依存している。
私たちはこれらの2点に反対し、高次元(=100ドル)のデータセットでは、ほぼ確実に起こらないことを実証します。
論文 参考訳（メタデータ） (2021-10-18T17:32:25Z) - Joint Majorization-Minimization for Nonnegative Matrix Factorization
with the $\beta$-divergence [4.468952886990851]
本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。
種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
論文 参考訳（メタデータ） (2021-06-29T09:58:21Z) - The Power of Subsampling in Submodular Maximization [51.629656762796564]
このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。
我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
論文 参考訳（メタデータ） (2021-04-06T20:25:57Z) - Escaping Saddle-Points Faster under Interpolation-like Conditions [19.9471360853892]
過度なパラメータ化の下では、いくつかの標準的な最適化アルゴリズムがサドルポイントを回避し、局所最小化器に収束する。
本稿では、PSGDアルゴリズムの1次オラクル複雑性について論じ、$epsilon$ localminimizerに到達した。
次に、Cubic-Regularized Newton (SCRN)アルゴリズムのアンダーライクな条件を分析し、局所最小化剤アンダーライクな条件に到達するためのオラクルの複雑さが$tildemathcalO (1/epsilon2.5)であることを示す。
論文 参考訳（メタデータ） (2020-09-28T02:15:18Z) - Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。
より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。
5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2020-07-17T15:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。