論文の概要: Task Discovery: Finding the Tasks that Neural Networks Generalize on
- arxiv url: http://arxiv.org/abs/2212.00261v1
- Date: Thu, 1 Dec 2022 03:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 16:49:56.908549
- Title: Task Discovery: Finding the Tasks that Neural Networks Generalize on
- Title（参考訳）: タスク発見:ニューラルネットワークが一般化するタスクを見つける
- Authors: Andrei Atanov, Andrei Filatov, Teresa Yeo, Ajay Sohmshetty, Amir Zamir
- Abstract要約: ニューラルネットワークが一般化する多くのタスクを、ひとつのイメージセットが引き起こす可能性があることを示す。
一例として、検出したタスクを使用して、逆行テストの分割を自動的に生成できることが示される。
- 参考スコア（独自算出の注目度）: 1.4043229953691112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When developing deep learning models, we usually decide what task we want to
solve then search for a model that generalizes well on the task. An intriguing
question would be: what if, instead of fixing the task and searching in the
model space, we fix the model and search in the task space? Can we find tasks
that the model generalizes on? How do they look, or do they indicate anything?
These are the questions we address in this paper.
We propose a task discovery framework that automatically finds examples of
such tasks via optimizing a generalization-based quantity called agreement
score. We demonstrate that one set of images can give rise to many tasks on
which neural networks generalize well. These tasks are a reflection of the
inductive biases of the learning framework and the statistical patterns present
in the data, thus they can make a useful tool for analysing the neural networks
and their biases. As an example, we show that the discovered tasks can be used
to automatically create adversarial train-test splits which make a model fail
at test time, without changing the pixels or labels, but by only selecting how
the datapoints should be split between the train and test sets. We end with a
discussion on human-interpretability of the discovered tasks.
- Abstract（参考訳）: ディープラーニングモデルを開発するとき、私たちは通常、どのタスクを解決したいかを決め、タスクをうまく一般化するモデルを探します。
興味深い疑問は、もしタスクを修正してモデル空間で検索する代わりに、モデルを修正してタスク空間で検索するとしたら?
モデルが一般化するタスクを見つけることはできますか?
どのように見えるのか、それとも何かを示すのか?
これらの質問は、この論文で取り上げています。
本稿では,合意スコアと呼ばれる一般化に基づく量を最適化することで,タスクの例を自動的に発見するタスク発見フレームワークを提案する。
ニューラルネットワークが一般化する多くのタスクを、ひとつのイメージセットが生み出すことができることを実証する。
これらのタスクは、学習フレームワークの帰納的バイアスとデータに存在する統計的パターンを反映しているため、ニューラルネットワークとそのバイアスを分析するのに有用なツールとなる。
例えば、検出されたタスクは、ピクセルやラベルを変更することなく、テスト時にモデルが失敗するような、反対のトレインテスト分割を自動的に作成するために使用できるが、データポイントをトレインとテストセットの間でどのように分割すべきかを選択するだけでよい。
最後に,発見タスクのヒューマンコンタラクタビリティに関する議論を行う。
関連論文リスト
- Finding Visual Task Vectors [74.67336516908776]
ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。
我々は,最新のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。
論文 参考訳（メタデータ） (2024-04-08T17:59:46Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。
我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。
実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
論文 参考訳（メタデータ） (2022-12-20T04:33:32Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Backbones-Review: Feature Extraction Networks for Deep Learning and Deep
Reinforcement Learning Approaches [3.255610188565679]
CNNは、大規模なデータサイズに取り組むだけでなく、特定のタスクのさまざまなシナリオをカバーすることができる。
多くのネットワークが提案され、あらゆるAIタスクでDLモデルに使用される有名なネットワークとなっている。
バックボーンは、他の多くのタスクでトレーニングされた既知のネットワークであり、その効果を実証する。
論文 参考訳（メタデータ） (2022-06-16T09:18:34Z) - Using a Cross-Task Grid of Linear Probes to Interpret CNN Model
Predictions On Retinal Images [3.5789352263336847]
我々は、線形プローブを用いて網膜画像のデータセットを分析し、ある「ターゲット」タスクで訓練された線形回帰モデル、ある「ソース」タスクで訓練された深部畳み込み(CNN)モデルからの埋め込みを入力として分析する。
我々はこの手法を、UK Biobankの網膜画像データセットにおける93のタスクの可能な全てのペアリングに使用し、164kの異なるモデルに導いた。
論文 参考訳（メタデータ） (2021-07-23T21:30:27Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z) - One Network Fits All? Modular versus Monolithic Task Formulations in
Neural Networks [36.07011014271394]
単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。
このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
論文 参考訳（メタデータ） (2021-03-29T01:16:42Z) - Assisting Scene Graph Generation with Self-Supervision [21.89909688056478]
本稿では,3つの新しい自己スーパービジョンタスクのセットを提案し,それらをメインモデルへの補助的マルチタスクとして訓練する。
比較しながら、これらのセルフスーパービジョンタスクでベースモデルをスクラッチからトレーニングし、すべてのメトリクスとリコール設定で最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-08-08T16:38:03Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。
本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。
提案手法を4つの連続学習データセットで検証する。
論文 参考訳（メタデータ） (2020-03-31T19:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。