論文の概要: Learning useful representations for shifting tasks and distributions
- arxiv url: http://arxiv.org/abs/2212.07346v3
- Date: Mon, 31 Jul 2023 20:52:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 18:07:02.599594
- Title: Learning useful representations for shifting tasks and distributions
- Title（参考訳）: タスクと分布のシフトのための有用な表現の学習
- Authors: Jianyu Zhang, L\'eon Bottou
- Abstract要約: 複数のトレーニングエピソードによって構成された表現が実際には異なることを示す。
我々の主張では、このようなシナリオは単一の最適化エピソードで得られたシナリオよりもリッチな表現によってよりうまく機能する。
- 参考スコア（独自算出の注目度）: 3.4836925827370697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Does the dominant approach to learn representations (as a side effect of
optimizing an expected cost for a single training distribution) remain a good
approach when we are dealing with multiple distributions? Our thesis is that
such scenarios are better served by representations that are richer than those
obtained with a single optimization episode. We support this thesis with simple
theoretical arguments and with experiments utilizing an apparently na\"{\i}ve
ensembling technique: concatenating the representations obtained from multiple
training episodes using the same data, model, algorithm, and hyper-parameters,
but different random seeds. These independently trained networks perform
similarly. Yet, in a number of scenarios involving new distributions, the
concatenated representation performs substantially better than an equivalently
sized network trained with a single training run. This proves that the
representations constructed by multiple training episodes are in fact
different. Although their concatenation carries little additional information
about the training task under the training distribution, it becomes
substantially more informative when tasks or distributions change. Meanwhile, a
single training episode is unlikely to yield such a redundant representation
because the optimization process has no reason to accumulate features that do
not incrementally improve the training performance.
- Abstract（参考訳）: 表現を学ぶための支配的なアプローチ(単一のトレーニングディストリビューションに期待されるコストを最適化する副作用として)は、複数のディストリビューションを扱う場合、良いアプローチのままか?
我々の主張では、このようなシナリオは単一の最適化エピソードで得られたシナリオよりもリッチな表現によってよりうまく機能する。
我々は、この論文を単純な理論的な議論と、一見na\"{\i}ve ensembling の手法を用いて、同じデータ、モデル、アルゴリズム、ハイパーパラメータを用いて複数の訓練エピソードから得られた表現を結合する実験で支持する。
これらの独立したネットワークも同様に機能する。
しかし、新しいディストリビューションを含む多くのシナリオにおいて、結合表現は、1回のトレーニング実行でトレーニングされた同等の大きさのネットワークよりもかなり優れたパフォーマンスを発揮する。
これは、複数の訓練エピソードで構築された表現が実際には異なることを証明している。
それらの結合は、トレーニング分布下でのトレーニングタスクに関する追加情報はほとんど持たないが、タスクや分布が変化すると、かなり情報的になる。
一方、最適化プロセスには、トレーニング性能を漸進的に改善しない機能を蓄積する理由がないため、単一のトレーニングエピソードがそのような冗長表現をもたらす可能性は低い。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。
このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。
ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
論文 参考訳（メタデータ） (2024-02-15T16:53:42Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳（メタデータ） (2023-10-13T07:31:04Z) - Superposing Many Tickets into One: A Performance Booster for Sparse
Neural Network Training [32.30355584300427]
本研究では,2つのデシラタを同時に1つのスパース・ツー・スパース・トレーニング・プロセスで満たすことのできる,新しいスパース・トレーニング・アプローチであるtextbfSup-tkets を提案する。
CIFAR-10/100 および ImageNet 上の様々なモダンアーキテクチャにおいて,Sup-tket が既存のスパーストレーニング手法とシームレスに統合されていることを示す。
論文 参考訳（メタデータ） (2022-05-30T16:01:32Z) - Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。
これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。
我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
論文 参考訳（メタデータ） (2021-11-11T15:15:11Z) - Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。
本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。
提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文 参考訳（メタデータ） (2021-09-13T11:29:04Z) - How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。
ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。
ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
論文 参考訳（メタデータ） (2021-04-25T06:56:48Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳（メタデータ） (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。