論文の概要: On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules
- arxiv url: http://arxiv.org/abs/2608.01383v2
- Date: Fri, 07 Aug 2026 17:01:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.41144
- Title: On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules
- Title（参考訳）: マスケ予測の識別可能性について:モード盲点とマスクスケジューリング
- Abstract要約: Masked predicts learns representations by fit a schedule-weighted family of conditional law。
ほぼ最適条件予測が根底にある関節法則をいつ下ろすかは、まだ不明である。
- 参考スコア（独自算出の注目度）: 13.711473184679832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked prediction learns representations by fitting a schedule-weighted family of conditional laws, but it remains unclear when near-optimal conditional prediction pins down the underlying joint law. We study this question for data with two well-separated global modes, outside the reach of rapid-mixing recovery guarantees, and show that the answer is decided by the mask schedule alone. Under large-context mode pinning, reweighting the two modes can move the joint law by a constant in total variation while perturbing the masked objective exponentially little in the visible-context size: mask schedules dominated by large contexts are provably blind to the global mode weights. To quantify this, we introduce an $\varepsilon$-identifiability modulus, the largest distributional error consistent with a given excess risk, and prove that it remains macroscopic at an excess risk that is exponentially small. An exact information decomposition pinpoints what restores identifiability: mode-weight sensitivity is governed by the residual mode uncertainty given the visible context. Consequently, low-visibility masks recover this sensitivity, and positive full-mask mass anchors the joint law over all admissible models with no assumption on the data law. Empirically, we test our theory at three levels: enumeration on computable laws verifies the predicted rates, gradient training reproduces both the mode blindness and the recovery, and measurements on real corpora place natural text between the two certified regimes.
- Abstract（参考訳）: マスク付き予測は、スケジュール重み付き条件付き法則の族を適合させて表現を学習するが、ほぼ最適条件付き予測が基礎となる関節法則をピン留めするかどうかは不明である。
本研究では, 高速混合回収保証の範囲外において, 2つの大域的モードを持つデータについて検討し, マスクスケジュールだけで解答が決定されることを示す。
大きなコンテキストモードのピンニングの下では、2つのモードの重み付けは、マスクされた目的を目に見えるコンテキストサイズで指数関数的に小さく摂動しながら、全変動で一定に関節法則を移動させることができる。
これを定量化するために、与えられた過剰リスクと一致する最大の分布誤差である$\varepsilon$-identifiability modulusを導入し、指数的に小さい過剰リスクにおいてマクロ的のままであることを示す。
正確な情報分解ピンポイントは、識別可能性を回復する:モード重み付け感度は、可視コンテキストが与えられた残モードの不確実性によって制御される。
その結果、低視認性マスクはこの感度を回復し、正のフルマスク質量はデータ法則を仮定せずに全ての許容可能なモデルに合同法則を固定する。
計算可能な法則の列挙は予測率を検証し、勾配トレーニングはモード盲点と回復の両方を再現する。
関連論文リスト
- Spatial Attention Noise Masking for Causally Sufficient Interpretability [0.21665689529884694]
本稿では,分類前の入力画像を動的にマスキングするコンピュータビジョンモデルに対する解釈可能性に関する新しいアプローチを提案する。
ほとんどの解釈可能性法は、既に訓練されたモデルに受動的に適用され、通常は因果的説明よりも相関関係が生じる。
本研究は,予測に十分な特徴を因果的に説明する空間的アテンションノイズマスキングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-12T13:47:30Z) - CANN-EUCLID: unsupervised constitutive artificial neural network model discovery from full-field data [0.0]
構成的人工ニューラルネットワーク(CANN)は、解釈可能な物質モデル発見を提供する。
CANNは、これまで、均質なテストから明らかなストレス-ストレインデータに基づいて、ストレス誘発設定に使われてきた。
ここでは, 応力非教師付きフルフィールド発見フレームワークであるEUCLIDとCANNを組み合わせて, スパース超弾性法則を同定する。
論文 参考訳（メタデータ） (2026-06-12T15:44:06Z) - Adaptive Order Policies for Masked Diffusion [56.27207032553083]
本稿では,拡散モデル上に追加の軽量ポリシネットワークを用いてアンマキング順序を学習する手法を提案する。
提案した損失は,政策確率に応じて拡散損失を隠蔽し,デノイザーの正しさが高い位置を優先する政策を導出する。
論文 参考訳（メタデータ） (2026-05-29T19:26:53Z) - Observation-Aligned Mask Priors for Learning Physical Dynamics from Authentic Occlusions [5.712248310668237]
観測適応マスクプライオリティ(英: Observation-Aligned Mask Priors)は、観測マスクの分布を学習するフレームワークである。
この交叉に基づく分割は、すべての有効次元にクエリされる確率が厳密に正であることを示します。
論文 参考訳（メタデータ） (2026-05-16T05:23:49Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳（メタデータ） (2026-03-20T02:07:10Z) - Generation Order and Parallel Decoding in Masked Diffusion Models: An Information-Theoretic Perspective [16.942478643768144]
Masked Diffusion Models (MDMs) は、逐次決定論のトレードオフによって推論を著しく加速する。
我々は,2つの障害源である順序感度と並列化バイアスを分離し,解析するための統合情報理論フレームワークを提供する。
論文 参考訳（メタデータ） (2026-01-30T20:15:18Z) - Diffusion-Guided Mask-Consistent Paired Mixing for Endoscopic Image Segmentation [57.37991748282666]
本稿では, 試料混合と拡散合成の強度を融合した拡散誘導型パラダイムを提案する。
各実画像について、合成対を同じマスクの下で生成し、その対をマスク一貫性ペアドミキシング(MCPMix)の制御可能な入力として使用する。
これは、共有幾何学の下で合成および実際の外観を円滑にブリッジする中間サンプルの連続的な族を生成する。
論文 参考訳（メタデータ） (2025-11-05T06:14:19Z) - Prediction with Incomplete Data under Agnostic Mask Distribution Shift [35.86200694774949]
分布シフトが存在する場合,不完全なデータによる予測について検討する。
我々は各マスクに対して、不変な最適予測器が存在するという観測を活用している。
本稿では,StableMissと呼ばれる新しい予測手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T14:06:06Z) - Uncertain Facial Expression Recognition via Multi-task Assisted
Correction [43.02119884581332]
MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援補正法を提案する。
具体的には、信頼度推定ブロックと重み付け正則化モジュールを用いて、固体試料をハイライトし、バッチ毎に不確かさサンプルを抑圧する。
RAF-DB、AffectNet、AffWild2データセットの実験は、MTACが合成および実際の不確実性に直面した際のベースラインよりも大幅に改善されていることを示した。
論文 参考訳（メタデータ） (2022-12-14T10:28:08Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Asymmetric Modality Translation For Face Presentation Attack Detection [55.09300842243827]
顔提示攻撃検出(PAD)は、悪意のあるユーザによって顔認識システムが偽造されるのを防ぐための重要な手段である。
両モードシナリオにおける非対称なモダリティ変換に基づく新しいフレームワークを提案する。
本手法は,異なる評価プロトコル下での最先端性能を実現する。
論文 参考訳（メタデータ） (2021-10-18T08:59:09Z) - Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。
独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。
本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
論文 参考訳（メタデータ） (2021-04-07T11:22:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。