論文の概要: Task Aware Modulation using Representation Learning: An Approach for Few
Shot Learning in Heterogeneous Systems
- arxiv url: http://arxiv.org/abs/2310.04727v1
- Date: Sat, 7 Oct 2023 07:55:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 16:08:30.444558
- Title: Task Aware Modulation using Representation Learning: An Approach for Few
Shot Learning in Heterogeneous Systems
- Title(参考訳): 表現学習を用いたタスク認識変調:不均一系におけるショット学習のアプローチ
- Authors: Arvind Renganathan, Rahul Ghosh, Ankush Khandelwal and Vipin Kumar
- Abstract要約: TAM-RLは、異種システムの数ショット設定でパーソナライズされた予測を強化するフレームワークである。
我々は,TAM-RLがMAMLやマルチモーダルMAMLといった既存のベースラインアプローチを大幅に上回ることを示す。
TAM-RLは,異なるタスクに対して異なる表現を学習することが可能な場合において,予測性能を著しく向上することを示す。
- 参考スコア(独自算出の注目度): 16.524898421921108
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a Task-aware modulation using Representation Learning (TAM-RL)
framework that enhances personalized predictions in few-shot settings for
heterogeneous systems when individual task characteristics are not known.
TAM-RL extracts embeddings representing the actual inherent characteristics of
these entities and uses these characteristics to personalize the predictions
for each entity/task. Using real-world hydrological and flux tower benchmark
data sets, we show that TAM-RL can significantly outperform existing baseline
approaches such as MAML and multi-modal MAML (MMAML) while being much faster
and simpler to train due to less complexity. Specifically, TAM-RL eliminates
the need for sensitive hyper-parameters like inner loop steps and inner loop
learning rate, which are crucial for model convergence in MAML, MMAML. We
further present an empirical evaluation via synthetic data to explore the
impact of heterogeneity amongst the entities on the relative performance of
MAML, MMAML, and TAM-RL. We show that TAM-RL significantly improves predictive
performance for cases where it is possible to learn distinct representations
for different tasks.
- Abstract(参考訳): 本稿では,タスク特性が不明な場合,不均一なシステムに対する数ショット設定におけるパーソナライズされた予測を向上するRepresentation Learning (TAM-RL) フレームワークを提案する。
TAM-RLは、これらのエンティティの実際の固有の特性を表す埋め込みを抽出し、これらの特徴を使用して各エンティティ/タスクの予測をパーソナライズする。
実世界の水文・フラックスタワーベンチマークデータセットを用いて,TAM-RLは,MAMLやマルチモーダルMAML(MMAML)といった既存のベースラインアプローチを著しく上回り,複雑度が低いため,より高速で訓練が容易であることを示す。
特に、TAM-RLは、MAML、MMAMLにおけるモデル収束に不可欠であるインナーループステップやインナーループ学習率のような敏感なハイパーパラメータを必要としない。
さらに,MAML,MMAML,TAM-RLの相対的性能に及ぼすエンティティ間の不均一性の影響を調べるために,合成データを用いた経験的評価を行った。
TAM-RLは,異なるタスクに対して異なる表現を学習可能な場合の予測性能を著しく向上することを示す。
関連論文リスト
- MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific
Data Visualization [88.72769238904908]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳(メタデータ) (2024-02-18T04:28:28Z) - M2CURL: Sample-Efficient Multimodal Reinforcement Learning via
Self-Supervised Representation Learning for Robotic Manipulation [0.850206009406913]
マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。
提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。
Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-01-30T14:09:35Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Extension of Transformational Machine Learning: Classification Problems [0.0]
本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。
メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。
薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-08-07T07:34:18Z) - DEPHN: Different Expression Parallel Heterogeneous Network using virtual
gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。
従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。
本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文 参考訳(メタデータ) (2023-07-24T04:29:00Z) - Provable Generalization of Overparameterized Meta-learning Trained with
SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。
我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。
理論的知見は実験によってさらに検証される。
論文 参考訳(メタデータ) (2022-06-18T07:22:57Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。
マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
論文 参考訳(メタデータ) (2020-07-14T17:25:27Z) - Learning Functions to Study the Benefit of Multitask Learning [25.325601027501836]
我々は,シーケンスラベリングタスクのためのマルチタスク学習(MTL)モデルの一般化パターンを研究・定量化する。
マルチタスク学習はいくつかの問題において改善されたパフォーマンスを実現しているが、同時にトレーニングするとパフォーマンスが低下するタスクもある。
論文 参考訳(メタデータ) (2020-06-09T23:51:32Z) - DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。
ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。
我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。
我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
論文 参考訳(メタデータ) (2020-04-28T12:26:50Z) - Generalized Hidden Parameter MDPs Transferable Model-based RL in a
Handful of Trials [13.051708608864539]
一般化隠れMDP(英: Generalized Hidden MDPs、GHP-MDPs)は、タスクによって異なる隠れパラメータの関数として、力学と報酬の両方が変化するMDPのファミリーを指す。
我々は、報酬空間と動的潜伏空間を用いた新しい課題である MuJoCo タスクに対して、最先端性能とサンプル効率を実験的に実証した。
論文 参考訳(メタデータ) (2020-02-08T02:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。