論文の概要: Commute Your Domains: Trajectory Optimality Criterion for Multi-Domain Learning
- arxiv url: http://arxiv.org/abs/2501.15556v1
- Date: Sun, 26 Jan 2025 15:12:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:59:20.518332
- Title: Commute Your Domains: Trajectory Optimality Criterion for Multi-Domain Learning
- Title（参考訳）: ドメインを通勤する: マルチドメイン学習のための軌道最適化基準
- Authors: Alexey Rukhovich, Alexander Podolskiy, Irina Piontkovskaya,
- Abstract要約: マルチドメイン学習では、共有知識を活用し、一般化を改善するために、多様なデータドメインで単一のモデルを訓練する。
これらのドメインからのデータがトレーニングに使用される順序は、各ドメインにおけるモデルの性能に大きく影響します。
勾配ベクトル場のリーブラケットの概念を用いたマルチドメイン学習における訓練順序(またはデータ混合)の影響について検討する。
- 参考スコア（独自算出の注目度）: 50.80758278865274
- License:
- Abstract: In multi-domain learning, a single model is trained on diverse data domains to leverage shared knowledge and improve generalization. The order in which the data from these domains is used for training can significantly affect the model's performance on each domain. However, this dependence is under-studied. In this paper, we investigate the influence of training order (or data mixing) in multi-domain learning using the concept of Lie bracket of gradient vector fields. By analyzing the infinitesimal effects of changing the training order, we identify regions in the parameter space where altering the order between two training domains can benefit the target loss. We validate the predictions of our theoretical framework on the influence of training order (or data mixing) both on a toy example and bilingual LLM pre-training.
- Abstract（参考訳）: マルチドメイン学習では、共有知識を活用し、一般化を改善するために、多様なデータドメインで単一のモデルを訓練する。
これらのドメインからのデータがトレーニングに使用される順序は、各ドメインにおけるモデルの性能に大きく影響します。
しかし、この依存は研究されていない。
本稿では,勾配ベクトル場のリーブラケットの概念を用いたマルチドメイン学習におけるトレーニング順序(あるいはデータ混合)の影響について検討する。
トレーニング順序の変更による無限小効果を解析することにより、2つのトレーニング領域間の順序変更が目標損失の恩恵をもたらすパラメータ空間内の領域を同定する。
本理論は, おもちゃの例とバイリンガルLLM事前学習における訓練順序(またはデータ混合)の影響について, 理論的枠組みの予測を検証した。
関連論文リスト
- DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
一般化推定(DoGE)を用いたDOmain再重み付けを提案する。
実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。
DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
論文 参考訳（メタデータ） (2023-10-23T22:51:58Z) - Improving Domain Generalization with Domain Relations [77.63345406973097]
本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。
ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。
以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
論文 参考訳（メタデータ） (2023-02-06T08:11:16Z) - Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。
計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T11:09:29Z) - Domain Generalization via Gradient Surgery [5.38147998080533]
現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。
本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
論文 参考訳（メタデータ） (2021-08-03T16:49:25Z) - Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。
一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
論文 参考訳（メタデータ） (2020-11-25T12:02:57Z) - A Brief Review of Domain Adaptation [1.2043574473965317]
本稿では、ラベルがソースドメインでのみ利用可能となる、教師なしドメイン適応に焦点を当てる。
ドメイン適応問題に対処することを目的とした、浅層および深層ドメイン適応アプローチが成功している。
論文 参考訳（メタデータ） (2020-10-07T07:05:32Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-06-23T14:47:41Z) - Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware
Parameterization [78.93669377251396]
音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。
既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。
本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
論文 参考訳（メタデータ） (2020-04-30T15:15:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。