論文の概要: TrustMix: Graceful Degradation for Pretrained Models under Distribution Shift

• arxiv url: http://arxiv.org/abs/2611.07206v1
• Date: Wed, 04 Nov 2026 22:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.463456
• Title: TrustMix: Graceful Degradation for Pretrained Models under Distribution Shift
• Title（参考訳）: TrustMix: 事前トレーニングされたモデルの分散シフトによるグレースフルな劣化
• Abstract要約: TrustMixは、事前訓練されたモデルの外挿的振る舞いを明確にし、制御可能にする軽量なメソッドである。 TrustMixは、事前訓練されたモデルによって生成された予測分布と、ユーザが特定したフォールバック分布を組み合わせる。 我々はTrustMixが意思決定アプリケーションに有用な予測分布を提供できることを示す。
• 参考スコア（独自算出の注目度）: 23.666174854553077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting beyond the training domain necessarily requires assumptions about how the ground truth extrapolates, yet in most neural networks these assumptions are made only implicit through the architecture. We propose TrustMix, a lightweight post-hoc method that makes a pretrained model's extrapolative behaviour explicit and controllable. TrustMix combines the predictive distribution produced by a pretrained model with a user-specified fallback distribution $p_0(y|x)$, such that as the out-of-distribution (OOD) deviation statistic grows, we collapse towards $p_0(y|x)$. TrustMix provides graceful degradation: the predictive distribution converges toward the fallback distribution as the OOD signal grows. The fallback distribution $p_0(y|x)$ can reflect domain knowledge, if available, or rely on a domain-agnostic stationarity assumption. TrustMix does not require retraining of the base model and can be applied to both regression and classification problems. We evaluated TrustMix on several synthetic and real-world distribution shifts, including tabular, image, and natural language processing tasks. We tested TrustMix on datasets such as CIFAR-10/100 and ImageNet and on numerous architectures including Convolutional Neural Networks (CNNs) and Transformers. TrustMix remains competitive in-distribution while improving predictive uncertainty under distribution shift, with gains in predictive likelihood for regression and calibration for classification. Finally, we showed that TrustMix can provide useful predictive distributions for decision-making applications by utilizing it as a surrogate for Bayesian Optimisation.
• Abstract（参考訳）: しかし、ほとんどのニューラルネットワークでは、これらの仮定はアーキテクチャを通してのみ暗黙的にされる。 本稿では,事前学習したモデルの外挿動作を明示的かつ制御可能な軽量なポストホック法であるTrustMixを提案する。 TrustMixは、事前訓練されたモデルによって生成された予測分布と、ユーザが指定したフォールバック分布である$p_0(y|x)$を組み合わせ、例えば、アウト・オブ・ディストリビューション(OOD)偏差統計が増加すると、$p_0(y|x)$に崩壊する。 予測分布は、OOD信号が大きくなるにつれて、フォールバック分布に収束する。 フォールバック分布$p_0(y|x)$は、もし利用可能であればドメイン知識を反映するか、ドメインに依存しない定常性仮定に依存する。 TrustMixはベースモデルの再トレーニングを必要とせず、回帰問題と分類問題の両方に適用できる。 我々はTrustMixを、表、画像、自然言語処理タスクを含む、いくつかの合成および実世界の分散シフトで評価した。 我々は、CIFAR-10/100やImageNetといったデータセットや、畳み込みニューラルネットワーク(CNN)やトランスフォーマーなど、数多くのアーキテクチャ上でTrustMixをテストした。 TrustMixは、分散シフト下での予測不確実性を改善しながら、競争力を維持しながら、レグレッションと分類のキャリブレーションの予測可能性を高めている。 最後に,TrustMixがベイズ最適化の代用として活用することで,意思決定アプリケーションに有用な予測分布を提供できることを示した。

関連論文リスト

• $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
  ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。 既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。 提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
  論文  参考訳（メタデータ） (2026-08-20T17:58:50Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Do Tabular Foundation Models Agree with Themselves? [9.642976236410833]
  モデルの予測は,任意の関節分布から得られるのか? 一つは辺化整合性であり、これは辺化条件が直接予測された辺化と等しいことを要求している。 2つ目は分解の整合性であり、これは異なる分解の順序が等しく結合分布をもたらすことを要求する。
  論文  参考訳（メタデータ） (2026-08-06T13:09:54Z)
• Rethinking Likelihood distributions: Student's t Likelihood Boosts Bayesian Neural Network Performance [0.0]
  確率分布の代替仮定が一般的に用いられるガウス分布よりも優れているかどうかを考察する。 学生のtは、データ配布とアーキテクチャとは独立に、ガウス確率分布よりも優れた予測性能が得られる。 場合によっては、学生のtは短いトレーニング時間につながりますが、実装は簡単です。
  論文  参考訳（メタデータ） (2026-07-28T07:32:02Z)
• Quantifying Uncertainty in the Presence of Distribution Shifts [18.273290530700567]
  ニューラルネットワークは正確な予測を行うが、しばしば信頼できる不確実性推定を提供することができない。 我々は不確実性推定のためのベイズ的枠組みを提案する。 本手法は,合成データと実世界のデータの両方で評価する。
  論文  参考訳（メタデータ） (2025-06-23T04:30:36Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。