論文の概要: From Generalist to Specialist Representation

• arxiv url: http://arxiv.org/abs/2605.12733v1
• Date: Tue, 12 May 2026 20:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.679817
• Title: From Generalist to Specialist Representation
• Title（参考訳）: ジェネラリストからスペシャリストへ
• Authors: Yujia Zheng, Fan Feng, Yuke Li, Shaoan Xie, Kevin Murphy, Kun Zhang,
• Abstract要約: 一般論モデルを考えると、ダウンストリームアプリケーションにはタスク関連の専門家表現の学習が不可欠である。 我々は、時間ステップとタスクの間の構造が、完全に教師なしの方法で識別可能であることを証明した。 次に、各時間ステップにおいて、タスク関連潜在表現が無関係部分から切り離される可能性があることを証明します。
• 参考スコア（独自算出の注目度）: 35.95654356089404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a generalist model, learning a task-relevant specialist representation is fundamental for downstream applications. Identifiability, the asymptotic guarantee of recovering the ground-truth representation, is critical because it sets the ultimate limit of any model, even with infinite data and computation. We study this problem in a completely nonparametric setting, without relying on interventions, parametric forms, or structural constraints. We first prove that the structure between time steps and tasks is identifiable in a fully unsupervised manner, even when sequences lack strict temporal dependence and may exhibit disconnections, and task assignments can follow arbitrarily complex and interleaving structures. We then prove that, within each time step, the task-relevant latent representation can be disentangled from the irrelevant part under a simple sparsity regularization, without any additional information or parametric constraints. Together, these results establish a hierarchical foundation: task structure is identifiable across time steps, and task-relevant latent representations are identifiable within each step. To our knowledge, each result provides a first general nonparametric identifiability guarantee, and together they mark a step toward provably moving from generalist to specialist models.
• Abstract（参考訳）: 一般論モデルを考えると、ダウンストリームアプリケーションにはタスク関連の専門家表現の学習が不可欠である。 Identifiability, asymptotic guarantee to recovery the ground-truth representation, because it set the Ultimate limit of any model, with infinite data and compute。 我々はこの問題を、介入、パラメトリック形式、構造的制約に頼ることなく、完全に非パラメトリックな環境で研究する。 まず、時間ステップとタスク間の構造が、厳密な時間的依存を欠き、切断を示す可能性がある場合でも、完全に教師のない方法で識別可能であることを証明し、タスク割り当ては任意に複雑でインターリーブな構造に従うことができる。 次に、各時間ステップにおいて、タスク関連潜在表現が、余分な情報やパラメトリック制約を伴わずに、単純な疎正則化の下で非関連部分から切り離され得ることを証明した。 タスク構造は時間ステップで識別可能であり、タスク関連潜在表現は各ステップで識別可能である。 我々の知る限り、各結果は最初の一般の非パラメトリック識別可能性保証を提供し、それらと共に、ジェネラリストからスペシャリストモデルへ確実に移行するためのステップを示す。

関連論文リスト

• How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism [2.5997274006052544]
  命令追従は普遍的なメカニズムや構成スキルの展開に依存するかを検討する。 すべてのタスクにわたって訓練された一般的なプローブは、限定的な表現共有を示す、タスク固有のスペシャリストを一貫して過小評価している。 時間的分析では、制約満足度は前世代計画ではなく、世代間動的監視として機能している。
  論文  参考訳（メタデータ） (2026-04-07T16:12:52Z)
• Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
  我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。 選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。 また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-29T20:56:34Z)
• Leveraging Task Structures for Improved Identifiability in Neural Network Representations [31.863998589693065]
  教師あり学習における識別可能性の理論を,タスクの分布にアクセスできる結果を考慮して拡張する。 一般マルチタスク回帰設定において線形識別性が達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-26T17:16:50Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Generalized Inverse Planning: Learning Lifted non-Markovian Utility for Generalizable Task Representation [83.55414555337154]
  本研究では,人間の実演からこのような有用性を学ぶことを研究する。 本稿では,本領域におけるユーティリティ学習のための新しい探索手法である一般化逆計画を提案する。 計算フレームワークである最大エントロピー逆計画(MEIP)について概説し、非マルコフ的効用と関連する概念を生成的に学習する。
  論文  参考訳（メタデータ） (2020-11-12T21:06:26Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。