論文の概要: BUMP: Brief Unexpected Mid-Interpolation Peak

• arxiv url: http://arxiv.org/abs/2611.08182v1
• Date: Thu, 05 Nov 2026 15:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.565785
• Title: BUMP: Brief Unexpected Mid-Interpolation Peak
• Title（参考訳）: BUMP:予想外の中間補間ピーク
• Abstract要約: 我々は、置換整列ニューラルネットワーク間の線形補間において興味深い現象を同定する:テスト精度は中間点に落ちる前に端付近で短時間改善される。 BUMPはデータセット、アーキテクチャ、トレーニング体制に一貫して現れ、実質的な摂動の下では堅牢である。 そこで本研究では,重み混合と予測空間混合を併用した,シンプルな,新しいアンサンブル方式を提案する。
• 参考スコア（独自算出の注目度）: 0.5599792629509227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify an intriguing phenomenon when linearly interpolating between permutation-aligned neural networks: test accuracy briefly improves near the interpolation endpoints before dropping toward the midpoint, which we term BUMP (Brief Unexpected Mid-interpolation Peak). We observe that BUMP appears consistently across datasets, architectures, training regimes, and remains robust under substantial perturbations such as early checkpoints and extreme pruning. Moreover, controlled ablations suggest that it cannot be attributed to trivial regularization effects. While similar near-endpoint gains are visible in prior interpolation plots, they have not been explicitly documented or systematically and thoroughly analyzed. Leveraging this effect, we propose a simple, novel ensembling scheme: weight-prediction mixed ensembling that combines weight mixing with prediction-space mixing. Across our experiments, the resulting ensembling method consistently outperforms standard logit ensembling in test accuracy and yields improved calibration trade-off, highlighting complementary benefits of weight- and prediction-space mixing.
• Abstract（参考訳）: 我々は、置換整列ニューラルネットワーク間の線形補間において興味深い現象を同定する:テスト精度は、中間点に落下する前に補間終点付近で短時間改善され、BUMP(Brief Unexpected Mid-interpolation Peak)と呼ばれる。 我々は、BUMPがデータセット、アーキテクチャ、トレーニング体制に一貫して出現し、早期チェックポイントや極端なプルーニングのような実質的な摂動の下で頑健であることを観察した。 さらに、制御されたアブレーションは、自明な正規化効果によるものではないことを示唆している。 同様の近点ゲインは、以前の補間プロットで見られるが、明示的に文書化され、体系化され、網羅的に分析されていない。 この効果を生かして、重み混合と予測空間混合を組み合わせた、単純な、新しいアンサンブル方式を提案する。 実験全体を通して、得られたアンサンブル法は、試験精度において標準ロジットアンサンブルを一貫して上回り、キャリブレーショントレードオフを改善し、重量と予測空間の混合の相補的な利点を強調した。

関連論文リスト

• Robust Ensemble Guidance for Scientific Inverse Problems [100.58137337454754]
  Robust Ensemble Guidance (REG) は、アンサンブル予測拡散を用いて観測スケールのバランスを保ち、極端に不一致な影響を制限するために標準化された残差を適応的にクリップする。 REGは3つの観測系で6.2-8.2dBのブラックホール再構成PSNRを増加させ、一致した予算比較でNavier-Stokes再構成誤差を26.4%削減する。
  論文  参考訳（メタデータ） (2026-10-04T16:54:37Z)
• Adaptive mixture variational inference for spike-and-slab regression [0.4078247440919473]
  相関予測器は、類似の予測と競合するスパースな説明をサポートし、平均場近似で捉えるのが困難である可変包摂に関する共同不確実性を実現する。 ガウス回帰における積分布と点質量のスパイク・アンド・スラブの混合に対する適応的適合法を開発した。 インクルージョンインジケータと活性係数に基づいて逆のクルバック・リーブラーの発散を最小化し、混合物が成長するにつれて成分パラメータと重みを共同で精製する。
  論文  参考訳（メタデータ） (2026-09-29T23:22:21Z)
• SPARC: Single-Pass Scaling for Motion Forecasting with Conformal Bayesian Last Layers [1.4452289368758382]
  シングルパス適応リスク(英: Single-Pass Adaptive Risk)は、人間の動き予測器に対する構造的、校正的、効率的な不確実性推定である。 決定論的バックボーンは将来の平均を予測し、共役ベイズ最後の層は時間領域の特徴レバレッジを解析的地平線スケールに変換する。 NLLと組み合わせたMPJPE+NLLの基準では、競争点の精度と効率的な校正管を維持している。
  論文  参考訳（メタデータ） (2026-08-21T07:20:22Z)
• Logit-Attention Divergence: Mitigating Position Bias in Multi-Image Retrieval via Attention-Guided Calibration [36.91587844807066]
  マルチモーダル言語モデル (MLLM) は, マルチモーダル・クロスモーダル検索において高い性能を示した。 しかし、予測は意味的関連性よりも入力順序に支配される厳しい位置バイアスに悩まされる。 そこで本研究では,本質的な注意信号を利用した学習自由な注意誘導型脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T06:17:01Z)
• RareCP: Regime-Aware Retrieval for Efficient Conformal Prediction [11.259098206661077]
  本稿では適応型コンフォーマル時系列予測のためのレギュレーション対応検索手法であるRareCPを紹介する。 RareCPはコサイン・アテンションの専門家の混合を通して局所的なキャリブレーション表現を学習する。 符号付き残基上に重み付き共形量子が形成され、非対称な予測間隔が生じる。
  論文  参考訳（メタデータ） (2026-05-09T10:12:07Z)
• Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy [0.0]
  P&C(Perturb-and-Correct)は,1つの事前学習ネットワークから多様な予測器を構築する手法である。 P&Cは後続のアフィン層に最小二乗補正を施したランダムな隠れ層摂動を適用し、キャリブレーションデータに同意する予測器を発生させる。 実証的には、P&C は MuJoCo の動的予測と CIFAR-10 OOD 検出にまたがる強力な ID/OOD トレードオフを実現している。
  論文  参考訳（メタデータ） (2026-05-02T22:48:11Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Error-quantified Conformal Inference for Time Series [55.11926160774831]
  時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。 量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。 ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
  論文  参考訳（メタデータ） (2025-02-02T15:02:36Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。