論文の概要: Le Cam Distortion: A Decision-Theoretic Framework for Robust Transfer Learning
- arxiv url: http://arxiv.org/abs/2512.23617v1
- Date: Mon, 29 Dec 2025 17:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.595783
- Title: Le Cam Distortion: A Decision-Theoretic Framework for Robust Transfer Learning
- Title(参考訳): Le Cam Distortion:ロバストトランスファー学習のための決定論的フレームワーク
- Authors: Deniz Akdemir,
- Abstract要約: 模擬性に基づく移動リスク条件の厳密な上限としてLe Cam Distortionを導入する。
我々のフレームワークは、ソースからターゲットをシミュレートするカーネルを学習することで、ソースの劣化なしに転送を可能にする。
Le Cam Distortionは、負の転送が受け入れられないドメインにおいて、リスク制御された転送学習のための最初の原則化されたフレームワークを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distribution shift is the defining challenge of real-world machine learning. The dominant paradigm--Unsupervised Domain Adaptation (UDA)--enforces feature invariance, aligning source and target representations via symmetric divergence minimization [Ganin et al., 2016]. We demonstrate that this approach is fundamentally flawed: when domains are unequally informative (e.g., high-quality vs degraded sensors), strict invariance necessitates information destruction, causing "negative transfer" that can be catastrophic in safety-critical applications [Wang et al., 2019]. We propose a decision-theoretic framework grounded in Le Cam's theory of statistical experiments [Le Cam, 1986], using constructive approximations to replace symmetric invariance with directional simulability. We introduce Le Cam Distortion, quantified by the Deficiency Distance $δ(E_1, E_2)$, as a rigorous upper bound for transfer risk conditional on simulability. Our framework enables transfer without source degradation by learning a kernel that simulates the target from the source. Across five experiments (genomics, vision, reinforcement learning), Le Cam Distortion achieves: (1) near-perfect frequency estimation in HLA genomics (correlation $r=0.999$, matching classical methods), (2) zero source utility loss in CIFAR-10 image classification (81.2% accuracy preserved vs 34.7% drop for CycleGAN), and (3) safe policy transfer in RL control where invariance-based methods suffer catastrophic collapse. Le Cam Distortion provides the first principled framework for risk-controlled transfer learning in domains where negative transfer is unacceptable: medical imaging, autonomous systems, and precision medicine.
- Abstract(参考訳): 分散シフトは、現実世界の機械学習における決定的な課題である。
支配的なパラダイムであるUnsupervised Domain Adaptation(UDA)は、特徴不変性を強化し、対称的発散最小化(Ganin et al , 2016)を通じてソースとターゲット表現を整列させる。
ドメインが不平等に情報的(例えば、高品質と劣化センサー)である場合、厳密な不変性は情報破壊を必要とし、安全クリティカルなアプリケーション(Wang et al , 2019)で破滅的な"負の転送"を引き起こす。
我々は, 対称不変性を方向的シミュラビリティに置き換えるために, 構成的近似を用いて, ル・カムの統計的実験理論に基づく決定論的枠組みを提案する。
我々は、模擬可能性に基づく転送リスク条件の厳密な上限として、Defficiency Distance $δ(E_1, E_2)$で定量化されたLe Cam Distortionを導入する。
我々のフレームワークは、ソースからターゲットをシミュレートするカーネルを学習することで、ソースの劣化なしに転送を可能にする。
5つの実験(ゲノミクス、ビジョン、強化学習)、Le Cam Distortionは、(1)HLAゲノミクスにおけるほぼ完全な周波数推定(相関$r=0.999$、マッチング古典的手法)、(2)CIFAR-10画像分類におけるゼロソースユーティリティ損失(81.2%の精度保存と34.7%のCycleGANの低下)、(3)分散ベースの手法が破滅的な崩壊に苦しむRL制御における安全なポリシー伝達である。
Le Cam Distortionは、負の転送が受け入れられない領域(医療画像、自律システム、精密医療)において、リスク制御された転送学習のための最初の原則化されたフレームワークを提供する。
関連論文リスト
- The Silent Scholar Problem: A Probabilistic Framework for Breaking Epistemic Asymmetry in LLM Agents [0.6117371161379209]
本稿では,エージェントに双方向知識交換のための非構造的動機を与える形式的確率的枠組みを提案する。
これらの蓄積された信念状態が、人間フィードバックからの強化学習(RLHF)と監視ファインチューニング(SFT)のための高品質データフィルタの検証可能な報酬信号としてどのように機能するかを示す。
シミュレーションの結果、この不確実性駆動型戦略が異種環境におけるランダムベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2025-12-24T02:02:25Z) - Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。
我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。
並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
論文 参考訳(メタデータ) (2025-08-28T07:09:21Z) - Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss [16.1456465253627]
本研究では、複数のソースドメインからラベル付きデータを入手でき、対象ドメインからラベルなしデータのみを観測できるマルチソース非教師付きドメイン適応について検討する。
本稿では,情報源領域からの条件付き結果分布の凸結合を最小化することにより,分類器を学習するグループ分散条件最適化フレームワークを提案する。
実験的なCG-DRO推定器の高速な統計的収束速度を,理論ブリッジとして機能する2つの代理極小最適化問題を構築することにより確立する。
論文 参考訳(メタデータ) (2025-07-14T04:21:23Z) - Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
深部異方性回帰における自己教師付き共分散推定について検討する。
正規分布の間の2-ワッサーシュタイン距離の上界を導出する。
幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
論文 参考訳(メタデータ) (2025-02-14T22:37:11Z) - Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction [5.38274042816001]
観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。
このことは、観測データを用いた領域適応問題の研究を動機付けます。
学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
論文 参考訳(メタデータ) (2024-06-22T17:43:08Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - Zero-Shot Transfer Learning for Structural Health Monitoring using
Generative Adversarial Networks and Spectral Mapping [4.300434865291411]
本稿では,ソースの損傷のない事例と損傷の事例を区別し,ドメイン適応(DA)技術を利用するトランスファーラーニング(TL)手法を提案する。
高次元の特徴は、信号処理領域の知識を利用して一般化可能なDAアプローチを考案することができる。
広範囲にわたる実験結果から,無損傷事例と損傷事例の相違点に関する知識の伝達に成功したことを示す。
論文 参考訳(メタデータ) (2022-12-07T23:34:11Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - Towards Transferable Unrestricted Adversarial Examples with Minimum
Changes [13.75751221823941]
転送ベースの敵の例はブラックボックス攻撃の最も重要なクラスの一つである。
対人摂動の伝達可能性と非受容性の間にはトレードオフがある。
最小限の変更を伴って転送可能な逆例を生成するための幾何対応フレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-04T12:03:20Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。
本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。
複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
論文 参考訳(メタデータ) (2020-03-05T11:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。