論文の概要: An empirical study of task and feature correlations in the reuse of pre-trained models

• arxiv url: http://arxiv.org/abs/2506.01975v1
• Date: Thu, 15 May 2025 22:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-08 12:40:08.647337
• Title: An empirical study of task and feature correlations in the reuse of pre-trained models
• Title（参考訳）: 事前学習モデルの再利用における課題と特徴相関の実証的研究
• Authors: Jama Hussein Mohamud,
• Abstract要約: トレーニング済みのニューラルネットワークは、マシンラーニングコミュニティで一般的に使われ、再利用されている。 本稿では,ボブの経験的成功に寄与する要因をシリコで研究できる実験装置を提案する。 我々は,AliceとAliceのタスクの間に意味的相関がある場合,BobがAliceの事前学習ネットワークを効果的に再利用できる実世界のシナリオを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained neural networks are commonly used and reused in the machine learning community. Alice trains a model for a particular task, and a part of her neural network is reused by Bob for a different task, often to great effect. To what can we ascribe Bob's success? This paper introduces an experimental setup through which factors contributing to Bob's empirical success could be studied in silico. As a result, we demonstrate that Bob might just be lucky: his task accuracy increases monotonically with the correlation between his task and Alice's. Even when Bob has provably uncorrelated tasks and input features from Alice's pre-trained network, he can achieve significantly better than random performance due to Alice's choice of network and optimizer. When there is little correlation between tasks, only reusing lower pre-trained layers is preferable, and we hypothesize the converse: that the optimal number of retrained layers is indicative of task and feature correlation. Finally, we show in controlled real-world scenarios that Bob can effectively reuse Alice's pre-trained network if there are semantic correlations between his and Alice's task.
• Abstract（参考訳）: トレーニング済みのニューラルネットワークは、マシンラーニングコミュニティで一般的に使われ、再利用されている。 Aliceは特定のタスクのためにモデルをトレーニングし、彼女のニューラルネットワークの一部は別のタスクのためにBobによって再利用される。 では、Bobの成功を説明できるだろうか? 本稿では,ボブの経験的成功に寄与する要因をシリコで研究できる実験装置を提案する。 その結果、Bobは運が良く、彼のタスクの精度は、彼のタスクとアリスの相関によって単調に増加します。 Bobは、Aliceのトレーニング済みネットワークから、明らかに無関係なタスクや入力機能を持っていたとしても、Aliceのネットワークとオプティマイザの選択により、ランダムなパフォーマンスよりもはるかに優れている。 タスク間の相関がほとんどない場合、下位の事前学習されたレイヤのみを再利用することが望ましい。 最後に、Bob氏がAliceとAliceのタスクの間に意味的相関がある場合、Aliceの事前学習ネットワークを効果的に再利用できる実世界のシナリオについて述べる。

関連論文リスト

• Additive-Effect Assisted Learning [17.408937094829007]
  我々はエージェントAliceのための2段階学習アーキテクチャを開発し、別のエージェントBobの助けを求める。 最初の段階では、Alice が Bob のデータの有用性を決定するために、プライバシを意識した仮説テストベースのスクリーニング手法を提案する。 Alice は,理論的にも数値的にも,訓練が集中的なデータからであるかのように,オラクルのパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T23:24:25Z)
• Quantum advantage in a unified scenario and secure detection of resources [49.1574468325115]
  我々は、量子優位性観測の異なるアプローチを研究するために、単一のコミュニケーションタスクを考える。 私たちのタスクには、マネージャ、Alice、Bobの3つのパーティがあります。 Alice が qubit を送信するとタスクのゴールが達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-22T23:06:20Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Encoding priors in the brain: a reinforcement learning model for mouse decision making [1.14219428942199]
  我々は、画面の左右に格子が現れる国際脳実験室のタスクについて研究し、マウスは格子を中央に持ってくるために車輪を動かさなければならない。 我々はこれを強化学習タスクとしてモデル化し、フィードフォワードニューラルネットワークを用いて状態をアクションにマッピングし、ネットワークの重みを調整して報酬を最大化し、政策勾配を通じて学習する。 提案モデルでは,約10回の臨床試験において,ブロックスイッチ後のコントラストシフトに対する心理測定曲線が変化するという,主要な実験結果が再現される。
  論文  参考訳（メタデータ） (2021-12-10T20:16:36Z)
• Asymmetric self-play for automatic goal discovery in robotic manipulation [12.573331269520077]
  私たちは、AliceとBobという2人のエージェントがゲームをするゴール発見のために非対称な自己プレイに依存しています。 この手法は,人間の事前知識を必要とせずに,高度に多様で複雑な目標を発見できることを示す。 私たちのメソッドはスケールし、多くの目に見えないタスクに一般化できる単一のポリシーになります。
  論文  参考訳（メタデータ） (2021-01-13T05:20:20Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。