論文の概要: TaskMet: Task-Driven Metric Learning for Model Learning
- arxiv url: http://arxiv.org/abs/2312.05250v1
- Date: Fri, 8 Dec 2023 18:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 14:16:49.022902
- Title: TaskMet: Task-Driven Metric Learning for Model Learning
- Title（参考訳）: taskmet: モデル学習のためのタスク駆動メトリック学習
- Authors: Dishank Bansal, Ricky T. Q. Chen, Mustafa Mukadam, Brandon Amos
- Abstract要約: ディープラーニングモデルは、トレーニング手順が認識していない可能性のある下流タスクにデプロイされることが多い。
本稿では,モデルのパラメータよりも1段階深いタスク損失信号を用いて,モデルがトレーニングした損失関数のパラメータを学習する。
このアプローチは、最適な予測モデル自体を変更するのではなく、下流のタスクにとって重要な情報を強調するためにモデル学習を変更する。
- 参考スコア（独自算出の注目度）: 31.118311918110454
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models are often deployed in downstream tasks that the training
procedure may not be aware of. For example, models solely trained to achieve
accurate predictions may struggle to perform well on downstream tasks because
seemingly small prediction errors may incur drastic task errors. The standard
end-to-end learning approach is to make the task loss differentiable or to
introduce a differentiable surrogate that the model can be trained on. In these
settings, the task loss needs to be carefully balanced with the prediction loss
because they may have conflicting objectives. We propose take the task loss
signal one level deeper than the parameters of the model and use it to learn
the parameters of the loss function the model is trained on, which can be done
by learning a metric in the prediction space. This approach does not alter the
optimal prediction model itself, but rather changes the model learning to
emphasize the information important for the downstream task. This enables us to
achieve the best of both worlds: a prediction model trained in the original
prediction space while also being valuable for the desired downstream task. We
validate our approach through experiments conducted in two main settings: 1)
decision-focused model learning scenarios involving portfolio optimization and
budget allocation, and 2) reinforcement learning in noisy environments with
distracting states. The source code to reproduce our experiments is available
at https://github.com/facebookresearch/taskmet
- Abstract（参考訳）: ディープラーニングモデルは、トレーニング手順が認識できないダウンストリームタスクにデプロイされることが多い。
例えば、正確な予測を行うためにのみ訓練されたモデルは、小さな予測エラーが急激なタスクエラーを引き起こす可能性があるため、下流のタスクでうまく実行するのに苦労する可能性がある。
エンド・ツー・エンド学習の標準的なアプローチは、タスクの損失を微分可能にする、あるいはモデルをトレーニング可能な微分可能なサロゲートを導入することである。
これらの設定では、タスク損失は、目標に矛盾する可能性があるため、予測損失と注意深くバランスする必要がある。
タスク損失信号はモデルのパラメータよりも1レベル深く、モデルがトレーニングした損失関数のパラメータを学習するために使用し、予測空間でメトリクスを学習することで実現できる。
このアプローチは最適な予測モデル自体を変えるのではなく、モデル学習を変えて下流タスクにとって重要な情報を強調します。
これにより、元の予測空間で訓練された予測モデルと、所望の下流タスクに価値ある予測モデルという、両方の世界のベストを達成できます。
主に2つの環境で実施した実験を通じて,我々のアプローチを検証する。
1)ポートフォリオ最適化と予算配分を含む意思決定型モデル学習シナリオ
2)邪魔な状態をもつ騒音環境における強化学習
実験を再現するソースコードはhttps://github.com/facebookresearch/taskmetで閲覧できます。
関連論文リスト
- EANet: Expert Attention Network for Online Trajectory Prediction [5.600280639034753]
Expert Attention Networkは、軌道予測のための完全なオンライン学習フレームワークである。
我々は,ネットワーク層の深さの異なる重みを調整し,勾配問題によるモデル更新が遅いことを回避し,専門家の注意を喚起する。
さらに,シナリオ変化に敏感な短期動作トレンドカーネル関数を提案する。
論文 参考訳（メタデータ） (2023-09-11T07:09:40Z) - Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。
局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。
リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
論文 参考訳（メタデータ） (2023-08-28T08:50:12Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳（メタデータ） (2023-07-21T02:51:41Z) - Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。
本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文 参考訳（メタデータ） (2023-06-21T07:43:23Z) - TIDo: Source-free Task Incremental Learning in Non-stationary
Environments [0.0]
モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。
ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。
本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T02:19:45Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Cross-Task Consistency Learning Framework for Multi-Task Learning [9.991706230252708]
2タスクMTL問題に対する新しい学習フレームワークを提案する。
サイクル一貫性損失とコントラスト学習に着想を得た2つの新たな損失項を定義する。
理論的には、どちらの損失もモデルをより効率的に学習する助けとなり、直進予測と整合する点において、クロスタスクの整合性損失がより良いことを証明している。
論文 参考訳（メタデータ） (2021-11-28T11:55:19Z) - LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。
ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
論文 参考訳（メタデータ） (2021-02-22T13:58:11Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。