Fugu-MT 論文翻訳(概要): Multi-Task Bayesian In-Context Learning

論文の概要: Multi-Task Bayesian In-Context Learning

arxiv url: http://arxiv.org/abs/2606.20538v1
Date: Thu, 18 Jun 2026 17:50:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-19 18:23:40.039951
Title: Multi-Task Bayesian In-Context Learning
Title（参考訳）: マルチタスクベイズ型インコンテキスト学習
Authors: Qingyang Zhu, Eric Karl Oermann, Kyunghyun Cho,
Abstract要約: 本稿では,階層型ベイズ予測推定のためのマルチタスク・インコンテキスト学習フレームワークを提案する。先行タスクと対象タスクのシーケンスに基づいてトレーニングされたトランスフォーマーは、前者の家族間で予測を適用することを学ぶ。提案手法は,既存の手法よりも桁違いに高速であると同時に,オラクル予測器と一致している。
参考スコア（独自算出の注目度）: 41.16196712546687
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian predictive inference provides a principled framework for uncertainty quantification, data efficiency, and robust generalization. However, exact inference is often intractable, and scalable approximations may remain computationally expensive or require restrictive modeling assumptions that degrade predictive performance. Prior-Data Fitted and in-context models have recently emerged as an amortized alternative by learning to map datasets directly to predictive distributions, but existing approaches are tightly coupled to the support of the training prior and lack explicit mechanisms for adapting to new priors at test time, resulting in limited robustness under distribution shift. We introduce a multi-task in-context learning framework for amortized hierarchical Bayesian predictive inference that explicitly represents prior information as a prefix of in-context datasets. A transformer trained on sequences of prior and target tasks learns to adapt its predictions across families of priors. On a suite of evaluations with increasing difficulty, including out-of-meta-distribution priors and priors with high-dimensional latent structures, our method matches oracle Bayesian predictors while being orders of magnitude faster. We further demonstrate its practical relevance on a real-world spatiotemporal temperature prediction benchmark. Code is available at https://github.com/martianmartina/multi-task-bayesian-icl/.
Abstract（参考訳）: ベイズ予測推論は、不確実性定量化、データ効率、堅牢な一般化のための原則化されたフレームワークを提供する。しかし、正確な推論はしばしば難解であり、スケーラブルな近似は計算に高価であり続けるか、予測性能を低下させる限定的なモデリング仮定を必要とするかもしれない。 Prior-Data FittedとIn-contextのモデルは最近、データセットを予測分布に直接マッピングすることを学ぶことで、償却された代替手段として登場したが、既存のアプローチは、トレーニング前のサポートと密結合であり、テスト時に新しい事前に適応するための明確なメカニズムが欠如しているため、分散シフト下でのロバスト性が制限される。本稿では,階層型ベイズ予測推論のためのマルチタスク・インコンテキスト学習フレームワークを提案する。先行タスクと対象タスクのシーケンスに基づいてトレーニングされたトランスフォーマーは、前者の家族間で予測を適用することを学ぶ。高次元の潜伏構造を持つ配電前と先行の配電前とを含む難易度の高い一連の評価において,本手法はオーラクルベイズ予測器と同等に一致し,精度は桁違いに向上した。さらに,実世界の時空間温度予測ベンチマークにおいて,その実用的妥当性を示す。コードはhttps://github.com/martianmartina/multi-task-bayesian-icl/で公開されている。

関連論文リスト

Class Adaptive Conformal Training [32.3021967024497]
コンフォーマル予測は不確実性定量化のための原則化された枠組みを提供する。クラス適応型コンフォーマルトレーニング(CaCT)は,分布仮説を作らずに,クラス条件で予測セットを形作ることを学習する。 CaCTは、コンフォーマルなトレーニング方法よりも一貫して優れています。
論文参考訳（メタデータ） (2026-01-14T14:41:23Z)
Goal-Oriented Time-Series Forecasting: Foundation Framework Design [11.999600538978044]
本稿では、予測モデルが関心のあるアプリケーション固有の領域に焦点を合わせることができるようなトレーニング手法を提案する。このアプローチは、トレーニング中に予測空間をきめ細かなセグメントに分割し、動的に再重み付けされ、アプリケーションによって指定されたターゲット範囲を強調するために集約する。標準ベンチマークと新たに収集した無線通信データセットによる実験により,本手法は関心領域の予測精度を向上するだけでなく,下流タスクの性能も向上することが示された。
論文参考訳（メタデータ） (2025-04-24T12:34:43Z)
Bayesian Test-Time Adaptation for Vision-Language Models [51.93247610195295]
CLIPのような事前訓練された視覚言語モデルによるテスト時適応は、新しい、潜在的に配布外テストデータにモデルを適応させることを目的としている。我々は、クラス埋め込みを継続的に更新して妥当性を適応させる新しいアプローチ、textbfBayesian textbfClass textbfAdaptation (BCA)を提案する。
論文参考訳（メタデータ） (2025-03-12T10:42:11Z)
Relational Conformal Prediction for Correlated Time Series [56.59852921638328]
時系列における不確実性定量化の問題を相関配列を利用して解決する。共形予測フレームワークと量子レグレッションに基づく分布自由な新しい手法を提案する。我々の手法は正確なカバレッジを提供し、関連するベンチマークで最先端の不確実性定量化を実現する。
論文参考訳（メタデータ） (2025-02-13T16:12:17Z)
When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
確率的階層的時系列予測は時系列予測の重要な変種である。ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
論文参考訳（メタデータ） (2023-10-17T20:30:16Z)
Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-09T15:43:46Z)
Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文参考訳（メタデータ） (2021-02-17T17:46:57Z)
Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。