論文の概要: Learning to Extrapolate to New Tasks: A Relational Approach to Task Extrapolation
- arxiv url: http://arxiv.org/abs/2605.30132v1
- Date: Thu, 28 May 2026 15:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.460422
- Title: Learning to Extrapolate to New Tasks: A Relational Approach to Task Extrapolation
- Title（参考訳）: 新しいタスクへの外挿を学習する:タスク外挿に対する関係的アプローチ
- Authors: Adam Ousherovitch, Yixin Wang,
- Abstract要約: Task Extrapolator (RTE) は、新しいタスクへの体系的な外挿を可能にするアルゴリズムである。
RTEは、各ターゲットタスクを既知のアンカータスクに分解することで、このアイデアを運用する。
RTEは、新しい未知のタスクに対する外挿に関する既存のアプローチを大幅に上回っている。
- 参考スコア（独自算出の注目度）: 33.69413571438309
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern learning systems excel at interpolation but struggle to generalize to unseen tasks outside the training distribution's support. This failure occurs even in simple settings, such as handling task parameters beyond the training range, and persists despite advances in foundation models. To this end, we develop the Relational Task Extrapolator (RTE), an algorithm designed to enable systematic extrapolation to novel tasks. The key observation is that extrapolation is inherently relational: extrapolating to unseen tasks requires learning how tasks transform into one another. If a model learns the transformation between tasks A and B during training, it can apply that same transformation to relate known tasks to unseen ones at test time. RTE operationalizes this idea by decomposing each target task into a known anchor task and a transformation linking the anchor and target. It then learns a relational operator, mapping an anchor-transformation pair to predictions for the target task. We instantiate RTE across multiple task extrapolation regimes in function prediction, e.g. where target tasks use out-of-range parameters (parameter extrapolation), have greater compositional depth (length extrapolation), and/or recombine function primitives in unseen ways (compositional extrapolation). We further extend RTE to sequence prediction, integrating it into fine-tuning algorithms for foundation models. Across empirical studies, we find that RTE substantially outperforms existing approaches on extrapolation to novel, unseen tasks.
- Abstract（参考訳）: 現代の学習システムは補間に優れるが、トレーニングディストリビューションの支援の外では見つからないタスクに一般化するのに苦労する。
この障害は、トレーニング範囲を超えたタスクパラメータの処理など、単純な設定でも発生し、基礎モデルの進歩にもかかわらず持続する。
この目的のために,新しいタスクへの体系的外挿を可能にするアルゴリズムであるリレーショナルタスク外挿器(RTE)を開発した。
外挿は本質的にリレーショナルであり、目に見えないタスクへの外挿には、タスクが相互に変換される方法を学ぶ必要がある。
モデルがトレーニング中にタスクAとタスクBの間の変換を学んだ場合、既知のタスクをテスト時に見つからないタスクに関連付けるために、同じ変換を適用することができます。
RTEは、各ターゲットタスクを既知のアンカータスクと、アンカーとターゲットをリンクする変換に分解することで、このアイデアを運用する。
その後、リレーショナル演算子を学び、アンカー変換ペアをターゲットタスクの予測にマッピングする。
例えば、対象タスクがアウト・オブ・レンジパラメータ(パラメータ外挿)を使用し、構成深度(長さ外挿)が大きく、かつ/またはリコンビネート関数プリミティブを目に見えない方法で(構成外挿)、複数のタスク外挿レジームにまたがってRTEをインスタンス化する。
さらに、RTEをシーケンス予測に拡張し、基礎モデルのための微調整アルゴリズムに統合する。
実証研究全体にわたって、RTEは、新規で目に見えないタスクに対する外挿に関する既存のアプローチを大幅に上回っていることが判明した。
関連論文リスト
- Ensemble Prediction of Task Affinity for Efficient Multi-Task Learning [8.604749005323557]
MTLの性能向上を予測するために,原則とデータ駆動型推定器を統合したスケーラブルなフレームワークであるETAP(Ensemble Task Affinity Predictor)を提案する。
我々は、ETAPがMPLゲイン予測を改善し、より効率的なタスクグループ化を可能にし、多様なアプリケーションドメインで最先端のベースラインを達成できることを実証した。
論文 参考訳（メタデータ） (2026-02-20T19:57:38Z) - Learning Task Representations from In-Context Learning [67.66042137487287]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
論文 参考訳（メタデータ） (2025-02-08T00:16:44Z) - Task Addition in Multi-Task Learning by Geometrical Alignment [4.220885199861056]
本稿では,限定データを用いた目標タスクの性能向上のためのタスク追加手法を提案する。
これは、大規模データセット上で教師付きマルチタスク事前トレーニングによって達成され、続いて、各タスクに対するタスク固有のモジュールの追加とトレーニングが行われる。
本実験は,従来のマルチタスク手法よりもGATEのタスク追加戦略の方が,計算コストに匹敵する優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-25T05:56:00Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - POMRL: No-Regret Learning-to-Plan with Increasing Horizons [43.693739167594295]
オンラインメタ強化学習環境におけるモデル不確実性の下での計画課題について検討する。
本稿では,タスク間の基盤構造をメタラーニングし,タスクごとの計画を立てるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-30T03:09:45Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Deep transfer learning for partial differential equations under
conditional shift with DeepONet [0.0]
深層演算子ネットワーク(DeepONet)を用いた条件シフト下でのタスク固有学習のための新しいTLフレームワークを提案する。
条件埋め込み演算子理論に触発されて、ソース領域とターゲット特徴領域の間の統計的距離を測定する。
提案するTLフレームワークは,ソースドメインとターゲットドメインの間に大きな違いがあるにも関わらず,高速かつ効率的なマルチタスク演算子学習を可能にする。
論文 参考訳（メタデータ） (2022-04-20T23:23:38Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。
私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。
学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
論文 参考訳（メタデータ） (2020-07-01T09:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。