論文の概要: Statistical Deficiency for Task Inclusion Estimation

• arxiv url: http://arxiv.org/abs/2503.05491v2
• Date: Thu, 13 Mar 2025 08:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 12:09:11.495414
• Title: Statistical Deficiency for Task Inclusion Estimation
• Title（参考訳）: タスク介在物推定における統計的欠陥
• Authors: Loïc Fosse, Frédéric Béchet, Benoît Favre, Géraldine Damnati, Gwénolé Lecorvé, Maxime Darrin, Philippe Formont, Pablo Piantanida,
• Abstract要約: タスクは機械学習の中心であり、現在のモデルの能力を評価する最も自然なオブジェクトである。 本研究では,2つのタスク間のbfインクルージョンを統計的に欠如の観点から計算する。
• 参考スコア（独自算出の注目度）: 24.755448493709604
• License:
• Abstract: Tasks are central in machine learning, as they are the most natural objects to assess the capabilities of current models. The trend is to build general models able to address any task. Even though transfer learning and multitask learning try to leverage the underlying task space, no well-founded tools are available to study its structure. This study proposes a theoretically grounded setup to define the notion of task and to compute the {\bf inclusion} between two tasks from a statistical deficiency point of view. We propose a tractable proxy as information sufficiency to estimate the degree of inclusion between tasks, show its soundness on synthetic data, and use it to reconstruct empirically the classic NLP pipeline.
• Abstract（参考訳）: タスクは機械学習の中心であり、現在のモデルの能力を評価する最も自然なオブジェクトである。 トレンドは、どんなタスクにも対処できる一般的なモデルを構築することです。 伝達学習とマルチタスク学習は、基礎となるタスク空間を活用しようとするが、その構造を研究するための十分に確立されたツールは存在しない。 本研究は,タスクの概念を定義し,統計的欠損の観点から2つのタスク間の「bf包摂」を計算するための理論的基盤的設定を提案する。 本稿では,タスク間の包摂度を推定し,その可聴性を合成データに示し,従来のNLPパイプラインを実証的に再構築するために,抽出可能なプロキシを提案する。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings [8.000144830397911]
  連続学習(CL)は、ディープニューラルネットワークの現代的応用において重要なトピックである。 本稿では,H-embedding(H-embedding)という名前の伝達可能性を考慮したタスク埋め込みを提案し,その指導の下でハイパーネットをトレーニングし,CLタスクのタスク条件付きモデル重みを学習する。
  論文  参考訳（メタデータ） (2025-02-17T09:52:19Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• A Tensor Low-Rank Approximation for Value Functions in Multi-Task Reinforcement Learning [10.359616364592073]
  物理環境下でのトレーニングが可能な強化学習システムを探るため,マルチタスクアプローチについて検討した。 低ランク構造は類似性の概念を強制するが、どのタスクが類似しているかを明確に規定する必要はない。 マルチタスク学習における低ランクテンソルアプローチの有効性を2つの数値実験で実証した。
  論文  参考訳（メタデータ） (2025-01-17T20:07:11Z)
• Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning [63.58935783293342]
  Causal Bisimulation Modeling (CBM) は、各タスクのダイナミクスと報酬関数の因果関係を学習し、最小限のタスク固有の抽象化を導出する手法である。 CBMの学習された暗黙的ダイナミクスモデルは、明確なものよりも根底にある因果関係と状態抽象化を正確に識別する。
  論文  参考訳（メタデータ） (2024-01-23T05:43:15Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Neural Approximate Sufficient Statistics for Implicit Models [34.44047460667847]
  我々は、深層ニューラルネットワークの助けを借りて、データの表現を最大化する相互情報の学習として、十分な統計情報を構築するタスクの枠組みを定めている。 従来のベイズ近似計算と最近のニューラル・サイエンス法の両方にアプローチを適用し,様々なタスクにおける性能を向上する。
  論文  参考訳（メタデータ） (2020-10-20T07:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。