論文の概要: Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time

• arxiv url: http://arxiv.org/abs/2009.10623v5
• Date: Mon, 6 Sep 2021 15:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 21:32:41.380694
• Title: Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time
• Title（参考訳）: 調整:予測時間における教師なし目的の最適化による帰納バイアスの符号化
• Authors: Ferran Alet, Maria Bauza, Kenji Kawaguchi, Nurullah Giray Kuru, Tomas Lozano-Perez, Leslie Pack Kaelbling
• Abstract要約: 主目的関数に補助的損失を加えることは、ネットワークがより良い表現を学ぶのに役立つバイアスを符号化する一般的な方法である。 この研究では、テキスト変換学習からインスピレーションを得て、入力を受け取った後、教師なしの損失に対してネットワークを微調整することができることに注意する。 メタ学習に類似したネスト最適化であるメタ調整を定式化し、教師なしの損失を用いてタスク目標に順応した後、モデルに順応するように訓練する。
• 参考スコア（独自算出の注目度）: 34.03150701567508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: From CNNs to attention mechanisms, encoding inductive biases into neural networks has been a fruitful source of improvement in machine learning. Adding auxiliary losses to the main objective function is a general way of encoding biases that can help networks learn better representations. However, since auxiliary losses are minimized only on training data, they suffer from the same generalization gap as regular task losses. Moreover, by adding a term to the loss function, the model optimizes a different objective than the one we care about. In this work we address both problems: first, we take inspiration from \textit{transductive learning} and note that after receiving an input but before making a prediction, we can fine-tune our networks on any unsupervised loss. We call this process {\em tailoring}, because we customize the model to each input to ensure our prediction satisfies the inductive bias. Second, we formulate {\em meta-tailoring}, a nested optimization similar to that in meta-learning, and train our models to perform well on the task objective after adapting them using an unsupervised loss. The advantages of tailoring and meta-tailoring are discussed theoretically and demonstrated empirically on a diverse set of examples.
• Abstract（参考訳）: CNNから注意機構に至るまで、ニューラルネットワークに誘導バイアスを符号化することは機械学習における実りある改善の源となっている。 主目的関数に補助的損失を加えることは、ネットワークがより良い表現を学ぶのに役立つバイアスを符号化する一般的な方法である。 しかし、補助的損失はトレーニングデータに限って最小化されるため、通常のタスク損失と同じ一般化ギャップに悩まされる。 さらに、損失関数に項を追加することで、モデルは私たちが気にしているものとは異なる目的を最適化します。 まず、私たちは \textit{transductive learning}からインスピレーションを得て、入力を受け取り、予測する前に、教師なしの損失に対してネットワークを微調整できることに注意します。 なぜなら、予測が帰納バイアスを満たすように、各入力にモデルをカスタマイズするためです。 第二に、メタ学習におけるそれと同様のネスト最適化である {\em meta-tailoring} を定式化し、教師なしの損失を使ってタスクの目的を達成するようにモデルを訓練します。 テーリングとメタテーリングの利点は理論的に議論され、様々な例で実証的に実証された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• TaskMet: Task-Driven Metric Learning for Model Learning [29.0053868393653]
  ディープラーニングモデルは、トレーニング手順が認識していない可能性のある下流タスクにデプロイされることが多い。 本稿では,モデルのパラメータよりも1段階深いタスク損失信号を用いて,モデルがトレーニングした損失関数のパラメータを学習する。 このアプローチは、最適な予測モデル自体を変更するのではなく、下流のタスクにとって重要な情報を強調するためにモデル学習を変更する。
  論文  参考訳（メタデータ） (2023-12-08T18:59:03Z)
• Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
  プレトレーニングは下流のタスクに移行することで大きな成功を収めた。 本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
  論文  参考訳（メタデータ） (2023-06-21T07:43:23Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Towards Sample-efficient Overparameterized Meta-learning [37.676063120293044]
  機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。 本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。 最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
  論文  参考訳（メタデータ） (2022-01-16T21:57:17Z)
• Noether Networks: Meta-Learning Useful Conserved Quantities [46.88551280525578]
  メタ学習型保存損失を予測関数内で最適化する新しいタイプのアーキテクチャであるNoether Networksを提案する。 理論的および実験的に、ネーターネットワークは予測品質を改善し、逐次問題における帰納的バイアスを発見するための一般的な枠組みを提供する。
  論文  参考訳（メタデータ） (2021-12-06T19:27:43Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。