論文の概要: Generate to Discriminate: Expert Routing for Continual Learning

• arxiv url: http://arxiv.org/abs/2412.17009v1
• Date: Sun, 22 Dec 2024 13:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:10.585230
• Title: Generate to Discriminate: Expert Routing for Continual Learning
• Title（参考訳）: 差別化のための生成: 継続的な学習のためのエキスパートルーティング
• Authors: Yewon Byun, Sanket V. Mehta, Saurabh Garg, Emma Strubell, Michael Oberst, Bryan Wilder, Zachary C. Lipton,
• Abstract要約: Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。 我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
• 参考スコア（独自算出の注目度）: 57.712736839429304
• License:
• Abstract: In many real-world settings, regulations and economic incentives permit the sharing of models but not data across institutional boundaries. In such scenarios, practitioners might hope to adapt models to new domains, without losing performance on previous domains (so-called catastrophic forgetting). While any single model may struggle to achieve this goal, learning an ensemble of domain-specific experts offers the potential to adapt more closely to each individual institution. However, a core challenge in this context is determining which expert to deploy at test time. In this paper, we propose Generate to Discriminate (G2D), a domain-incremental continual learning method that leverages synthetic data to train a domain-discriminator that routes samples at inference time to the appropriate expert. Surprisingly, we find that leveraging synthetic data in this capacity is more effective than using the samples to \textit{directly} train the downstream classifier (the more common approach to leveraging synthetic data in the lifelong learning literature). We observe that G2D outperforms competitive domain-incremental learning methods on tasks in both vision and language modalities, providing a new perspective on the use of synthetic data in the lifelong learning literature.
• Abstract（参考訳）: 多くの現実の環境では、規制や経済的なインセンティブにより、モデルを共有することは許されるが、機関の境界を越えてのデータを共有することはできない。 そのようなシナリオでは、実践者は、以前のドメインのパフォーマンスを損なうことなく、新しいドメインにモデルを適用することを望んでいます(いわゆる破滅的な忘れ物)。 どんなモデルでもこの目標を達成するのに苦労するかもしれませんが、ドメイン固有の専門家の集まりを学習することで、個々の機関により密に適応することが可能になるのです。 しかしながら、このコンテキストにおける重要な課題は、テスト時にどの専門家をデプロイするかを決定することです。 本稿では,合成データを活用するドメインインクリメンタル学習手法であるGenerate to Discriminate (G2D)を提案する。 驚くべきことに、この容量で合成データを活用することは、サンプルを用いて下流分類器を訓練するよりも効果的である(生涯学習文献における合成データを活用するためのより一般的なアプローチ)。 我々は、G2Dが視覚と言語モダリティの両方のタスクにおいて、競争力のあるドメイン・インクリメンタルな学習方法よりも優れており、生涯学習文献における合成データの利用に関する新たな視点を提供する。

関連論文リスト

• Artificial Inductive Bias for Synthetic Tabular Data Generation in Data-Scarce Scenarios [8.062368743143388]
  本稿では,限られた実データ環境下でDGM(Deep Generative Models)を用いて,現実的で信頼性の高い合成データを生成する手法を提案する。 本稿では,移動学習とメタ学習技術を用いて,DGMにおける人工的帰納バイアスを生成する方法を提案する。 我々は,2つの最先端DGM,すなわち変分オートエンコーダとジェネレーティブ・アダクティブ・アダクティブ・ネットワークを用いて,人工的帰納バイアスがより優れた合成データ品質をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-03T12:53:42Z)
• Pre-trained Recommender Systems: A Causal Debiasing Perspective [19.712997823535066]
  本研究では,異なるドメインから抽出した汎用ユーザ・イテムインタラクションデータをトレーニングすることで,ユニバーサルインタラクションパターンをキャプチャする汎用レコメンデータを開発する。 実験により,提案モデルにより,ゼロショットと少数ショットの学習環境での推薦性能が大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T03:37:32Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• GIPSO: Geometrically Informed Propagation for Online Adaptation in 3D LiDAR Segmentation [60.07812405063708]
  3Dポイントクラウドセマンティックセグメンテーションは、自動運転に基本である。 文学におけるほとんどのアプローチは、動的シーンを扱う際に、ドメインシフトをどのように扱うかという重要な側面を無視している。 本稿では,本研究分野における最先端技術について述べる。
  論文  参考訳（メタデータ） (2022-07-20T09:06:07Z)
• Incremental Learning Meets Transfer Learning: Application to Multi-site Prostate MRI Segmentation [16.50535949349874]
  インクリメンタルトランスファー学習(ITL)と呼ばれる新しいマルチサイトセグメンテーションフレームワークを提案する。 ITLは、エンドツーエンドのシーケンシャルな方法で、マルチサイトデータセットからモデルを学習する。 ITLトレーニングスキームを活用することで、漸進的な学習における破滅的な問題を軽減できることを示す。
  論文  参考訳（メタデータ） (2022-06-03T02:32:01Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)
• Unsupervised Domain Adaptation with Multiple Domain Discriminators and Adaptive Self-Training [22.366638308792734]
  Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルの一般化能力を改善し、ラベル付きデータが使用できないターゲットドメインでうまく機能することを目的としている。 本稿では、合成データに基づいて訓練されたディープニューラルネットワークを、2つの異なるデータ分布間のドメインシフトに対処する実シーンに適用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-27T11:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。