論文の概要: Eliminating Catastrophic Interference with Biased Competition
- arxiv url: http://arxiv.org/abs/2007.02833v1
- Date: Fri, 3 Jul 2020 16:15:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 04:53:25.293429
- Title: Eliminating Catastrophic Interference with Biased Competition
- Title（参考訳）: バイアス競合による破滅的干渉の除去
- Authors: Amelia Elizabeth Pollard and Jonathan L. Shapiro
- Abstract要約: 本稿では,複雑なデータセットのマルチタスク特性を活用するモデルを提案する。
このモデルは,新たに作成したデータセット上でのタスク間の破滅的な干渉を排除し,視覚質問応答空間における競合的な結果をもたらすことを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present here a model to take advantage of the multi-task nature of complex
datasets by learning to separate tasks and subtasks in and end to end manner by
biasing competitive interactions in the network. This method does not require
additional labelling or reformatting of data in a dataset. We propose an
alternate view to the monolithic one-task-fits-all learning of multi-task
problems, and describe a model based on a theory of neuronal attention from
neuroscience, proposed by Desimone. We create and exhibit a new toy dataset,
based on the MNIST dataset, which we call MNIST-QA, for testing Visual Question
Answering architectures in a low-dimensional environment while preserving the
more difficult components of the Visual Question Answering task, and
demonstrate the proposed network architecture on this new dataset, as well as
on COCO-QA and DAQUAR-FULL. We then demonstrate that this model eliminates
catastrophic interference between tasks on a newly created toy dataset and
provides competitive results in the Visual Question Answering space. We provide
further evidence that Visual Question Answering can be approached as a
multi-task problem, and demonstrate that this new architecture based on the
Biased Competition model is capable of learning to separate and learn the tasks
in an end-to-end fashion without the need for task labels.
- Abstract（参考訳）: ここでは、複雑なデータセットのマルチタスク特性を利用して、ネットワーク内の競合的相互作用をバイアスすることで、タスクとサブタスクを上下に分離する学習モデルを提案する。
この方法はデータセット内のデータの追加のラベル付けや再フォーマットを必要としない。
本稿では,マルチタスク問題のモノリシックな1タスク適応学習に対する代替的視点を提案し,desimone が提唱した神経科学からのニューロン注意の理論に基づくモデルについて述べる。
我々は、MNISTデータセットをベースとして、MNIST-QAと呼ばれる新しい玩具データセットを作成し、低次元環境における視覚質問回答アーキテクチャのテストを行い、視覚質問回答タスクのより難しいコンポーネントを保存し、提案したネットワークアーキテクチャを新しいデータセット、COCO-QAおよびDAQUAR-FULL上で実証する。
そして,このモデルにより,新たに作成されたおもちゃのデータセット上でのタスク間の破滅的な干渉を排除し,視覚質問応答空間における競合結果を提供することを示した。
マルチタスク問題としてVisual Question Answeringが適用可能であることを示す証拠として,Biased Competitionモデルに基づくこの新しいアーキテクチャは,タスクラベルを必要とせずに,エンドツーエンドでタスクの分離と学習を学習できることを示す。
関連論文リスト
- Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - Get Rid of Task Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework [10.33844348594636]
我々は,都市の総合的知能を高めるために,連続マルチタスク時空間学習フレームワーク(CMuST)を提案することが不可欠であると主張する。
CMuSTは、都市時間学習を単一ドメインから協調マルチタスク学習に改革する。
マルチタスク時間学習のための3つの都市のベンチマークを作成し,CMuSTの優位性を実証的に実証した。
論文 参考訳（メタデータ） (2024-10-14T14:04:36Z) - Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:22:07Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。
まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。
そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文 参考訳（メタデータ） (2023-10-17T02:38:09Z) - Aggregating Intrinsic Information to Enhance BCI Performance through
Federated Learning [29.65566062475597]
不十分なデータは、高性能なディープラーニングモデルを構築するためのBCI(Brain-Computer Interface)にとって長年の課題である。
本稿では,この課題を克服するために,階層的に個別化したフェデレート学習脳波デコーディングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:59:44Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Evaluating the Capabilities of Multi-modal Reasoning Models with
Synthetic Task Data [0.0]
我々は高解像度テキスト・画像生成の進歩を活用し、マルチモーダル推論タスクの評価データを生成するフレームワークを開発する。
このフレームワークを用いて、コンテキスト依存の異常データを生成し、困難なタスクに合成データセットを作成する。
我々は,タスクが抽出可能である一方で,標準的なVQAタスクよりもコンテキスト依存型異常検出タスクでは,モデルが大幅に悪化することを示した。
論文 参考訳（メタデータ） (2023-06-01T20:56:34Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-05-29T05:20:38Z) - Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。
最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。
本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
論文 参考訳（メタデータ） (2023-05-04T20:19:39Z) - ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。
われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文 参考訳（メタデータ） (2020-01-22T14:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。