論文の概要: Beyond Task Success: A Theory of Representation Reuse

• arxiv url: http://arxiv.org/abs/2610.18375v1
• Date: Tue, 13 Oct 2026 13:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:15:00.028532
• Title: Beyond Task Success: A Theory of Representation Reuse
• Title（参考訳）: タスク成功を超えて:表現再利用の理論
• Abstract要約: ソースタスクのパフォーマンスは、元のヘッドが削除された後も表現が有用であることを保証するものではない。 本研究では,タスクの特定のファミリーに対する表現再利用について検討する。
• 参考スコア（独自算出の注目度）: 2.751152877807707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A learned representation is useful beyond its source task only if later tasks can make use of what the encoder has already learned. Source-task performance, however, gives no guarantee that the representation itself will remain useful once the original head is removed. We study representation reuse with respect to a specified family of future tasks. For such a family, we define the task-relevant state as the coarsest deterministic state sufficient for all of its tasks. A larger task family can require a finer state, and losing a required distinction makes at least one future task unrecoverable on a target support containing that conflict. Exact reuse also depends on how the retained information is presented to the downstream rule. We separate this into structural accessibility, which concerns whether the required distinctions remain recoverable, and coordinate consistency, which concerns whether those distinctions can be interpreted by the same downstream rule across samples. Both failure modes appear separately in the experiments. Reuse improves as task-relevant distinctions become more accessible. Reversible sample-dependent coordinate changes can sharply reduce reuse even when the representation remains recoverable, and inverting the applicable coordinate change restores performance. The same accessibility-reuse ordering appears in prospectively specified CIFAR-100 experiments with both ResNet-18 and DenseNet-121. Finally, preserving a candidate state that contains the distinctions needed by the anticipated task family improves reuse on compatible held-out tasks, with the clearest benefit when target supervision is limited. Representation reuse is therefore relative to the tasks that follow source learning: a useful representation must retain the distinctions those tasks need and make them available in a form that a shared downstream rule can use.
• Abstract（参考訳）: 学習された表現は、後続のタスクがエンコーダが既に学んだことを利用できる場合に限り、ソースタスクを超えて有用である。 しかし、ソースタスクのパフォーマンスは、元のヘッドが削除された後も表現自体が有用であることを保証するものではない。 本研究では,タスクの特定のファミリーに対する表現再利用について検討する。 このような家族にとって、タスク関連状態は、タスクの全てに十分な、最も粗い決定論的状態であると定義する。 より大きなタスクファミリは、より細かな状態を必要とし、必要な区別を失うことで、少なくとも1つの将来のタスクが、その競合を含むターゲットサポートで回復不能になる。 排他的再利用は、保持された情報が下流ルールにどのように提示されるかにも依存する。 これを構造的アクセシビリティに分割し、必要な区別が回復可能かどうかを懸念し、それらの区別がサンプル全体で同じ下流ルールで解釈できるかどうかを調整します。 どちらの障害モードも実験で別々に現れる。 タスク関連区別がよりアクセスしやすくなれば、再利用が向上する。 可逆的なサンプル依存座標変化は、表現が回復可能なままでも、再利用を大幅に削減し、適用可能な座標変化を反転させることで、性能を回復することができる。 同じアクセシビリティー・リユース・オーダリングは、ResNet-18とDenseNet-121の両方で予測されたCIFAR-100実験に現れる。 最後に、期待タスクファミリーが必要とする区別を含む候補状態の保存は、目標監督が制限された場合の最も明確なメリットとして、互換性のある保留タスクの再利用を改善する。 したがって、表現再利用は、ソース学習に続くタスクと相対的である: 有用な表現は、それらのタスクが必要とする区別を保持し、共有下流ルールが使用できる形で利用できなければならない。

関連論文リスト

• Task-State Adaptation with Prototype Memory for Multi-Task Dense Prediction [65.90697836568579]
  本研究では,グローバルな視覚的コンテキストからタスク状態を推定するマルチタスク高密度予測フレームワークを提案する。 MemMTLは学習可能なタスク状態のプロトタイプメモリを通じてそれを洗練する。 個別のタスク非依存残差銀行は共通の適応パスを提供する。
  論文  参考訳（メタデータ） (2026-08-28T08:48:22Z)
• Pretraining Reusable Inference Across Views with Synthetic Task Priors [21.47966082652401]
  現代の事前訓練されたエンコーダは、不均一なビューからの表現を再利用しやすくするが、ビューユーティリティを決定し、エビデンスを組み合わせる手順は、下流の各タスクにまだ残されている。 提案するSIMPLEは,クエリラベルを小さなラベル付きサポートセットに条件付けすることで,クエリラベルを予測するマルチコンテキスト学習システムである。 マルチビューおよびマルチオミクスベンチマークの実験は、SIMPLEの凍結版が推論バックボーンを更新することなく競合性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-08-19T17:10:03Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Representation Ensembling for Synergistic Lifelong Learning with Quasilinear Complexity [17.858926093389737]
  生涯学習では、データは現在のタスクだけでなく、以前に遭遇したタスクや、未報告のタスクでもパフォーマンスを向上させるために使用される。 私たちの重要な洞察は、異なるタスクで独立して学習された表現を相乗的にアンサンブルすることで、前方と後方の両方の転送を可能にします。
  論文  参考訳（メタデータ） (2020-04-27T16:16:30Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。