論文の概要: Exploring Model Transferability through the Lens of Potential Energy

• arxiv url: http://arxiv.org/abs/2308.15074v1
• Date: Tue, 29 Aug 2023 07:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:18:09.774221
• Title: Exploring Model Transferability through the Lens of Potential Energy
• Title（参考訳）: 電位エネルギーレンズによるモデル伝達可能性の探索
• Authors: Xiaotong Li, Zixuan Hu, Yixiao Ge, Ying Shan, Ling-Yu Duan
• Abstract要約: トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
• 参考スコア（独自算出の注目度）: 78.60851825944212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has become crucial in computer vision tasks due to the vast availability of pre-trained deep learning models. However, selecting the optimal pre-trained model from a diverse pool for a specific downstream task remains a challenge. Existing methods for measuring the transferability of pre-trained models rely on statistical correlations between encoded static features and task labels, but they overlook the impact of underlying representation dynamics during fine-tuning, leading to unreliable results, especially for self-supervised models. In this paper, we present an insightful physics-inspired approach named PED to address these challenges. We reframe the challenge of model selection through the lens of potential energy and directly model the interaction forces that influence fine-tuning dynamics. By capturing the motion of dynamic representations to decline the potential energy within a force-driven physical model, we can acquire an enhanced and more stable observation for estimating transferability. The experimental results on 10 downstream tasks and 12 self-supervised models demonstrate that our approach can seamlessly integrate into existing ranking techniques and enhance their performances, revealing its effectiveness for the model selection task and its potential for understanding the mechanism in transfer learning. Code will be available at https://github.com/lixiaotong97/PED.
• Abstract（参考訳）: トランスファー学習は、事前学習されたディープラーニングモデルの膨大な可用性のために、コンピュータビジョンタスクにおいて重要になっている。 しかし、特定の下流タスクのための多様なプールから最適な事前学習モデルを選択することは、依然として課題である。 既存の訓練済みモデルの伝達可能性を測定する方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存するが、微調整中に基礎となる表現力学の影響を見落とし、特に自己教師付きモデルでは信頼性の低い結果をもたらす。 本稿では,これらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。 我々は、ポテンシャルエネルギーのレンズを通してモデル選択の課題を再構築し、微調整ダイナミクスに影響を与える相互作用力を直接モデル化する。 動的表現の運動を捉えて力駆動物理モデル内のポテンシャルエネルギーを減少させることで、伝達可能性の推定のための拡張されたより安定した観測を得ることができる。 10のダウンストリームタスクと12の自己教師付きモデルに関する実験結果から,提案手法が既存のランキング手法にシームレスに統合され,その性能が向上し,モデル選択タスクの有効性とトランスファー学習のメカニズム理解の可能性が示された。 コードはhttps://github.com/lixiaotong97/PEDで入手できる。

関連論文リスト

• Latent-Predictive Empowerment: Measuring Empowerment without a Simulator [56.53777237504011]
  我々は、より実用的な方法でエンパワーメントを計算するアルゴリズムであるLatent-Predictive Empowerment(LPE)を提案する。 LPEは、スキルと国家間の相互情報の原則的な置き換えである目的を最大化することで、大きなスキルセットを学習する。
  論文  参考訳（メタデータ） (2024-10-15T00:41:18Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
  モデルに基づく強化学習手法であるIso-Dream++を提案する。 我々は、切り離された潜在的想像力に基づいて政策最適化を行う。 これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-03-27T02:55:56Z)
• STDEN: Towards Physics-Guided Neural Networks for Traffic Flow Prediction [31.49270000605409]
  物理原理とデータ駆動モデルの統合の欠如は、この分野の開発を制限する重要な理由である。 本稿では,交通流力学の物理機構を深層ニューラルネットワークの枠組みに組み込む,時空間微分方程式ネットワーク(STDEN)という物理誘導型ディープラーニングモデルを提案する。 北京の3つの実世界の交通データセットの実験では、我々のモデルは最先端のベースラインをかなり上回っている。
  論文  参考訳（メタデータ） (2022-09-01T04:58:18Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and Compliant Impedance Control [16.88250694156719]
  剛体力学モデルの物理的に一貫した慣性パラメータを同定できる新しいハイブリッドモデルの定式化を提案する。 7自由度マニピュレータ上での最先端の逆動力学モデルに対する我々のアプローチを比較した。
  論文  参考訳（メタデータ） (2022-05-27T07:39:28Z)
• Planning from Pixels using Inverse Dynamics Models [44.16528631970381]
  本稿では,タスク完了にともなう未来の行動の順序を学習することで,潜在世界モデルを学ぶ新しい方法を提案する。 本研究では,視覚目標達成タスクの課題に対する提案手法の評価を行い,従来のモデルフリー手法と比較して性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-12-04T06:07:36Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。