論文の概要: Meta-learning of shared linear representations beyond well-specified linear regression

• arxiv url: http://arxiv.org/abs/2501.18975v1
• Date: Fri, 31 Jan 2025 09:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:31.199886
• Title: Meta-learning of shared linear representations beyond well-specified linear regression
• Title（参考訳）: 良く特定された線形回帰を超えた共有線形表現のメタラーニング
• Authors: Mathieu Even, Laurent Massoulié,
• Abstract要約: 本稿では,タスクやユーザによって共有される学習構造,例えば低ランク表現やクラスタ構造などの問題を考察する。 軽微な仮定の下では、ランクとクラスタ化された正規化推定器がそのような構造を回復し、タスク毎のサンプル数とタスク数が十分に大きいことが示される。 凸学習対象の文脈で共有線形表現を学習するための核制約によるノルム時間アルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 13.572602792770292
• License:
• Abstract: Motivated by multi-task and meta-learning approaches, we consider the problem of learning structure shared by tasks or users, such as shared low-rank representations or clustered structures. While all previous works focus on well-specified linear regression, we consider more general convex objectives, where the structural low-rank and cluster assumptions are expressed on the optima of each function. We show that under mild assumptions such as \textit{Hessian concentration} and \textit{noise concentration at the optimum}, rank and clustered regularized estimators recover such structure, provided the number of samples per task and the number of tasks are large enough. We then study the problem of recovering the subspace in which all the solutions lie, in the setting where there is only a single sample per task: we show that in that case, the rank-constrained estimator can recover the subspace, but that the number of tasks needs to scale exponentially large with the dimension of the subspace. Finally, we provide a polynomial-time algorithm via nuclear norm constraints for learning a shared linear representation in the context of convex learning objectives.
• Abstract（参考訳）: タスクやユーザによって共有される学習構造,例えば低ランク表現やクラスタ構造などの問題を考える。 これまでのすべての研究はよく特定された線形回帰に焦点をあてるが、より一般的な凸目標を考えると、各関数の最適値に構造的低ランクとクラスタ仮定が表される。 そこで本研究では, 最適点における textit{Hessian concentration} や \textit{noise concentration などの軽微な仮定の下で, ランクとクラスタ化正規化推定器がそのような構造を回復し, タスク毎のサンプル数とタスク数が大きくなることを示した。 次に、全ての解が成り立つ部分空間を、タスクごとに1つのサンプルしか存在しないような環境で回復する問題について研究する:その場合、ランク制約付き推定器は部分空間を回復できるが、タスクの数は部分空間の次元に比例して指数関数的に大きくスケールする必要がある。 最後に、凸学習対象の文脈で共有線形表現を学習するための、核ノルム制約による多項式時間アルゴリズムを提案する。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
  そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。 提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。 驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-06-16T16:14:01Z)
• Fairness, Semi-Supervised Learning, and More: A General Framework for Clustering with Stochastic Pairwise Constraints [32.19047459493177]
  我々は,いくつかの本質的クラスタリングの目的に組み込んだ,新しいemphstochastic pairwise制約系を導入する。 これらの制約は,半教師付き学習における emphinvidual fairness や emphmust-link 制約など,興味をそそるアプリケーションの集合を簡潔にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T20:27:58Z)
• Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
  教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。 我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。 数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
  論文  参考訳（メタデータ） (2020-09-17T07:02:07Z)
• Spatial Classification With Limited Observations Based On Physics-Aware Structural Constraint [18.070762916388272]
  限られた特徴観察による空間分類は、機械学習において難しい問題である。 本稿では,各クラスにおけるサンプルの特徴値にマルチモーダル分布を従わせることによって,最近のアプローチを拡張した。 マルチモーダル分布を持つ拡張モデルの学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T20:07:28Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。