論文の概要: Localizing Transfer Between Memorization Tasks

• arxiv url: http://arxiv.org/abs/2610.00771v1
• Date: Wed, 30 Sep 2026 22:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.791641
• Title: Localizing Transfer Between Memorization Tasks
• Title（参考訳）: 記憶課題間の移動の局所化
• Abstract要約: 移行学習における中心的なパズルは、あるタスクの事前学習が、他のタスクのトレーニングを加速したり、他のタスクのパフォーマンスを改善したりする理由と、この移行を下支えするメカニズムである。 等価トランスファーパターンは、各追加の事前学習エポックが約1つの下流微調整エポックを節約する等価トランスファーパターンと、ミスマッチしたタスクに対する事前トレーニングが下流タスク自体を直接トレーニングするよりもはるかに効率的である非等価トランスファーパターンである。
• 参考スコア（独自算出の注目度）: 4.870012761464388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central puzzle in transfer learning is why pre-training on one task can accelerate training or improve performance on another task, and what mechanisms underlie this transfer. In this work, we examine the transfer between memorization tasks of random input-output mappings. We find two surprising transfer patterns: equivalent transfer, where each additional pre-training epoch saves approximately one downstream fine-tuning epoch; and non-equivalent transfer, where pre-training on a mismatched task can be even more efficient than directly training on the downstream task itself. Through ablation experiments, we decompose and localize the transfer into two separate effects: a "trivial" magnitude-driven transfer in the last layer, and a "non-trivial" structure-driven transfer, partially attributable to the covariance of the other layers. These results advance our understanding of the underlying mechanisms of transfer learning and have the potential to lead to principled pre-training strategies.
• Abstract（参考訳）: 移行学習における中心的なパズルは、あるタスクの事前学習が、他のタスクのトレーニングを加速したり、他のタスクのパフォーマンスを改善したりする理由と、この移行を下支えするメカニズムである。 本研究では,ランダムな入出力マッピングの記憶タスク間の移動について検討する。 等価トランスファーパターンは、各追加の事前学習エポックが約1つの下流微調整エポックを節約する等価トランスファーパターンと、ミスマッチしたタスクに対する事前トレーニングが下流タスク自体を直接トレーニングするよりもはるかに効率的である非等価トランスファーパターンである。 アブレーション実験により、最後の層における「自明な」大きさ駆動の転移と、他の層の共分散に起因する「非自明な」構造駆動の転移という2つの異なる効果に転移を分解し、局所化する。 これらの結果は、転送学習の基盤となるメカニズムの理解を前進させ、原則化された事前学習戦略に導く可能性を秘めている。

関連論文リスト

• FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
  Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。 これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。 本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
  論文  参考訳（メタデータ） (2025-07-27T22:21:53Z)
• TransferTraj: A Vehicle Trajectory Learning Model for Region and Task Transferability [32.061236211032714]
  TransferTrajは、車両のGPS軌道学習モデルで、領域とタスクの転送性の両方に優れています。 地域転送性については、TransferTraj内でRTTEを学習可能な主要なモジュールとして紹介する。 本稿では,タスクの入出力構造を統一するタスク伝達可能な入出力スキームを提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:40:34Z)
• Understanding the Transferability of Representations via Task-Relatedness [8.425690424016986]
  本稿では,事前学習したモデルの下流タスクへの表現の伝達可能性について,その参照タスクとの関連性の観点から分析する。 最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。
  論文  参考訳（メタデータ） (2023-07-03T08:06:22Z)
• On Neural Consolidation for Transfer in Reinforcement Learning [4.129225533930966]
  本稿では, ネットワーク蒸留を特徴抽出法として活用し, 伝達のコンテキストをよりよく理解する。 蒸留では,複数タスクから新しいタスクへの移動を含む知識伝達が防止されないことを示す。
  論文  参考訳（メタデータ） (2022-10-05T13:18:47Z)
• Identifying Suitable Tasks for Inductive Transfer Through the Analysis of Feature Attributions [78.55044112903148]
  我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。 提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
  論文  参考訳（メタデータ） (2022-02-02T15:51:07Z)
• Omni-Training for Data-Efficient Deep Learning [80.28715182095975]
  近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。 このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T16:30:36Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Phase Transitions in Transfer Learning for High-Dimensional Perceptrons [12.614901374282868]
  伝達学習は、関連するソースタスクから学んだ知識を活用することにより、対象タスクの一般化性能の向上を目指す。 後者の質問は、転送元情報が実際にターゲットタスクの一般化性能を減少させるいわゆる負の転送現象に関連しています。 本稿では,関連する1対のパーセプトロン学習タスクを解析し,転送学習の理論解析を行う。
  論文  参考訳（メタデータ） (2021-01-06T08:29:22Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。