論文の概要: Learning useful representations for shifting tasks and distributions

• arxiv url: http://arxiv.org/abs/2212.07346v1
• Date: Wed, 14 Dec 2022 17:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:35:14.239683
• Title: Learning useful representations for shifting tasks and distributions
• Title（参考訳）: タスクと分布のシフトのための有用な表現の学習
• Authors: Jianyu Zhang, L\'eon Bottou
• Abstract要約: 我々の主張では、このようなシナリオは単一の最適化エピソードで得られたシナリオよりも"リッチ"な表現によってよりうまく機能する。 これは、明らかにナイーブなアンサンブル技術で得られた経験的な結果の収集によって支えられている。
• 参考スコア（独自算出の注目度）: 3.4836925827370697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Does the dominant approach to learn representations (as a side effect of optimizing an expected cost for a single training distribution) remain a good approach when we are dealing with multiple distributions. Our thesis is that such scenarios are better served by representations that are "richer" than those obtained with a single optimization episode. This is supported by a collection of empirical results obtained with an apparently na\"ive ensembling technique: concatenating the representations obtained with multiple training episodes using the same data, model, algorithm, and hyper-parameters, but different random seeds. These independently trained networks perform similarly. Yet, in a number of scenarios involving new distributions, the concatenated representation performs substantially better than an equivalently sized network trained from scratch. This proves that the representations constructed by multiple training episodes are in fact different. Although their concatenation carries little additional information about the training task under the training distribution, it becomes substantially more informative when tasks or distributions change. Meanwhile, a single training episode is unlikely to yield such a redundant representation because the optimization process has no reason to accumulate features that do not incrementally improve the training performance.
• Abstract（参考訳）: 表現を学ぶための支配的なアプローチ(単一のトレーニングディストリビューションに期待されるコストを最適化する副作用として)は、複数のディストリビューションを扱う場合、良いアプローチのままです。 我々の主張では、このようなシナリオは単一の最適化エピソードで得られたシナリオよりも"リッチ"な表現によってよりうまく機能する。 これは、複数のトレーニングエピソードで得られた表現を、同じデータ、モデル、アルゴリズム、ハイパーパラメータを使用して結合するが、ランダムな種が異なるという、明らかにna\"ive ensemblingテクニックで得られた経験的な結果の集合によって支えられている。 これらの独立したネットワークも同様に機能する。 しかし、新しい分布を含む多くのシナリオにおいて、連結された表現は、スクラッチから訓練された同等の大きさのネットワークよりも大幅に優れている。 これは、複数の訓練エピソードで構築された表現が実際には異なることを証明している。 それらの結合は、トレーニング分布下でのトレーニングタスクに関する追加情報はほとんど持たないが、タスクや分布が変化すると、かなり情報的になる。 一方、最適化プロセスには、トレーニング性能を漸進的に改善しない機能を蓄積する理由がないため、単一のトレーニングエピソードがそのような冗長表現をもたらす可能性は低い。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Do We Need to Design Specific Diffusion Models for Different Tasks? Try ONE-PIC [77.8851460746251]
  本稿では,超音速拡散モデルに対する単純,効率的,汎用的なアプローチを提案する。 ONE-PICは、追加モジュールを導入することなく、事前訓練された拡散モデルにおける継承された生成能力を向上する。 本手法は,適応プロセスの合理化を図り,低コストで優れた性能を実現する,シンプルで効率的な手法である。
  論文  参考訳（メタデータ） (2024-12-07T11:19:32Z)
• Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
  即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。 このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。 ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
  論文  参考訳（メタデータ） (2024-02-15T16:53:42Z)
• Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
  複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。 しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
  論文  参考訳（メタデータ） (2023-10-13T07:31:04Z)
• Superposing Many Tickets into One: A Performance Booster for Sparse Neural Network Training [32.30355584300427]
  本研究では,2つのデシラタを同時に1つのスパース・ツー・スパース・トレーニング・プロセスで満たすことのできる,新しいスパース・トレーニング・アプローチであるtextbfSup-tkets を提案する。 CIFAR-10/100 および ImageNet 上の様々なモダンアーキテクチャにおいて,Sup-tket が既存のスパーストレーニング手法とシームレスに統合されていることを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:01:32Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
  本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。 本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。 提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
  論文  参考訳（メタデータ） (2021-09-13T11:29:04Z)
• How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
  ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。 ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。 ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
  論文  参考訳（メタデータ） (2021-04-25T06:56:48Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。