論文の概要: Fast Rate Bounds for Multi-Task and Meta-Learning with Different Sample Sizes

• arxiv url: http://arxiv.org/abs/2505.15496v1
• Date: Wed, 21 May 2025 13:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.65592
• Title: Fast Rate Bounds for Multi-Task and Meta-Learning with Different Sample Sizes
• Title（参考訳）: 異なるサンプルサイズを持つマルチタスクとメタラーニングのための高速速度境界
• Authors: Hossein Zakerinia, Christoph H. Lampert,
• Abstract要約: マルチタスクとメタラーニングのための新しい高速な一般化境界をアンバランスな環境で提示する。 我々の新しい境界は数値計算可能であり、解釈可能である。 我々は、バランスの取れない状況が2つの意味のあるマルチタスクリスクの定義を可能にするという事実に光を当てた。
• 参考スコア（独自算出の注目度）: 17.55660062746406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present new fast-rate generalization bounds for multi-task and meta-learning in the unbalanced setting, i.e. when the tasks have training sets of different sizes, as is typically the case in real-world scenarios. Previously, only standard-rate bounds were known for this situation, while fast-rate bounds were limited to the setting where all training sets are of equal size. Our new bounds are numerically computable as well as interpretable, and we demonstrate their flexibility in handling a number of cases where they give stronger guarantees than previous bounds. Besides the bounds themselves, we also make conceptual contributions: we demonstrate that the unbalanced multi-task setting has different statistical properties than the balanced situation, specifically that proofs from the balanced situation do not carry over to the unbalanced setting. Additionally, we shed light on the fact that the unbalanced situation allows two meaningful definitions of multi-task risk, depending on whether if all tasks should be considered equally important or if sample-rich tasks should receive more weight than sample-poor ones.
• Abstract（参考訳）: マルチタスクとメタラーニングのための新しい高速な一般化バウンダリ、すなわちタスクが異なるサイズのトレーニングセットを持つ場合、現実のシナリオでよく見られるように、非バランスな設定で、新しい高速な一般化バウンダリを提案する。 以前はこの状況では標準レート境界のみが知られていたが、高速レート境界は全てのトレーニングセットが同じ大きさの設定に限られていた。 我々の新しい境界は数値的に計算可能であり、解釈可能であり、以前の境界よりも強い保証を与える多くのケースを扱う際の柔軟性を実証する。 バランスの取れないマルチタスク設定は、バランスの取れた状況と異なる統計的性質を持つことを示す。 さらに、全てのタスクが等しく重要視されるべきなのか、サンプルリッチタスクがサンプルポーアよりも重み付けされるべきなのかによって、バランスの取れない状況が2つのマルチタスクリスクの有意義な定義を可能にしているという事実に光を当てた。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Robust Multi-Task Learning with Excess Risks [24.695243608197835]
  マルチタスク学習(MTL)は、全てのタスク損失の凸結合を最適化することにより、複数のタスクのジョイントモデルを学ぶことを検討する。 既存の方法は適応的な重み更新方式を用いており、各損失に基づいてタスク重みを動的に調整し、困難なタスクを優先順位付けする。 本稿では,過度リスクに基づくタスクバランス手法であるMulti-Task Learning with Excess Risks (ExcessMTL)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:46:14Z)
• Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
  多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。 本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。 そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-08-28T06:31:37Z)
• Continual Learning in Linear Classification on Separable Data [34.78569443156924]
  正規化の弱い学習は、逐次極大問題の解法に還元されることを示す。 次に、様々な設定の下で、忘れることやその他の関心事に関する上限を策定する。 正規化スケジューリングや重み付けといった,一般的なトレーニングプラクティスに対する実践的な影響について論じる。
  論文  参考訳（メタデータ） (2023-06-06T09:34:11Z)
• Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference [0.0]
  そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。 制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
  論文  参考訳（メタデータ） (2022-10-26T08:06:57Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Few-Shot Learning with Class Imbalance [13.60699610822265]
  少数ショット学習は、クエリセットから取得したサンプルを一般化するために、サポートセットに与えられた限られた数のラベル付きサンプルでモデルをトレーニングすることを目的としている。 標準設定では、サポートセットは各クラスに対して等しい量のデータポイントを含んでいる。 本稿では,メタデータセット対タスク不均衡,異なる不均衡分布の効果(線形,ステップ,ランダム),再バランス手法の効果の3つの軸に沿ったクラス不均衡について詳細に検討する。
  論文  参考訳（メタデータ） (2021-01-07T12:54:32Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。