論文の概要: Model Agreement via Anchoring

• arxiv url: http://arxiv.org/abs/2602.23360v1
• Date: Thu, 26 Feb 2026 18:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.863554
• Title: Model Agreement via Anchoring
• Title（参考訳）: アンコリングによるモデル合意
• Authors: Eric Eaton, Surbhi Goel, Marcel Hussing, Michael Kearns, Aaron Roth, Sikata Bela Sengupta, Jessica Sorrell,
• Abstract要約: 一般的な4つの機械学習アルゴリズムに対する不一致を証明している。 明確にするために、我々は1次元回帰と2乗誤差損失の設定において、最初の境界について検討する。 全ての結果は、強い凸損失を伴って多次元回帰に一般化される。
• 参考スコア（独自算出の注目度）: 31.113945168635656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous lines of aim to control $\textit{model disagreement}$ -- the extent to which two machine learning models disagree in their predictions. We adopt a simple and standard notion of model disagreement in real-valued prediction problems, namely the expected squared difference in predictions between two models trained on independent samples, without any coordination of the training processes. We would like to be able to drive disagreement to zero with some natural parameter(s) of the training procedure using analyses that can be applied to existing training methodologies. We develop a simple general technique for proving bounds on independent model disagreement based on $\textit{anchoring}$ to the average of two models within the analysis. We then apply this technique to prove disagreement bounds for four commonly used machine learning algorithms: (1) stacked aggregation over an arbitrary model class (where disagreement is driven to 0 with the number of models $k$ being stacked) (2) gradient boosting (where disagreement is driven to 0 with the number of iterations $k$) (3) neural network training with architecture search (where disagreement is driven to 0 with the size $n$ of the architecture being optimized over) and (4) regression tree training over all regression trees of fixed depth (where disagreement is driven to 0 with the depth $d$ of the tree architecture). For clarity, we work out our initial bounds in the setting of one-dimensional regression with squared error loss -- but then show that all of our results generalize to multi-dimensional regression with any strongly convex loss.
• Abstract（参考訳）: $\textit{model disagreement}$ -- 2つの機械学習モデルが予測に異を唱える程度。 我々は、実数値予測問題においてモデル不一致という単純で標準的な概念、すなわち、独立したサンプルで訓練された2つのモデル間の予測の2乗差を、トレーニングプロセスの調整なしに採用する。 既存の学習手法に応用可能な分析手法を用いて,学習手順の自然なパラメータをゼロにすることで,不一致の促進を図りたい。 解析における2つのモデルの平均に対する$\textit{anchoring}$に基づく独立モデル不一致の有界性を証明するための単純な一般化手法を開発する。 次に、この手法を適用して、4つの一般的な機械学習アルゴリズムで、(1)任意のモデルクラスに積み重ねられたアグリゲーション(不一致がモデル数$k$で0に駆動される)、(2)勾配の強化(不一致が反復数$k$で0に駆動される)、(3)アーキテクチャサーチによるニューラルネットワークトレーニング(不一致がアーキテクチャのサイズ$n$で0に駆動される)、(4)固定深さのすべてのレグレッションツリーのトレーニング(不一致が木アーキテクチャの深さ$d$で0に駆動される)である。 明確にするために、我々は1次元回帰と2乗誤差損失のセッティングにおける最初の境界を解明するが、その上で、全ての結果が強い凸損失を伴う多次元回帰に一般化されることを示す。

関連論文リスト

• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
  提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。 我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。 また、線形モード接続仮説の欠点についても論じる。
  論文  参考訳（メタデータ） (2022-09-11T10:44:27Z)
• Surprises in adversarially-trained linear regression [12.33259114006129]
  敵の訓練はこのような例に対して最も効果的なアプローチの1つである。 本稿では,線形回帰問題に対して,凸問題として逆行訓練を定式化できることを述べる。 十分に多くの特徴や十分小さな正規化パラメータに対して、学習されたモデルはトレーニングデータを完全に補間することを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:54:42Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• Thought Flow Nets: From Single Predictions to Trains of Model Thought [39.619001911390804]
  人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。 その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
  論文  参考訳（メタデータ） (2021-07-26T13:56:37Z)
• Least-Squares Linear Dilation-Erosion Regressor Trained using Stochastic Descent Gradient or the Difference of Convex Methods [2.055949720959582]
  線形拡張・侵食回帰(ell$-DER)と呼ばれる回帰タスクのためのハイブリッド型モルフォロジーニューラルネットワークを提案する。 $ell$-DERモデルは、線形および形態素作用素の合成の凸結合によって与えられる。
  論文  参考訳（メタデータ） (2021-07-12T18:41:59Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。