論文の概要: Weak-to-Strong Generalization Through the Data-Centric Lens

• arxiv url: http://arxiv.org/abs/2412.03881v1
• Date: Thu, 05 Dec 2024 05:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:43:00.686945
• Title: Weak-to-Strong Generalization Through the Data-Centric Lens
• Title（参考訳）: データ中心レンズによる弱相関一般化
• Authors: Changho Shin, John Cooper, Frederic Sala,
• Abstract要約: 重なり密度という弱強一般化を特徴付ける単純なデータ中心機構を提案する。 一般化の利点は重なり合う密度の関数であり、データ選択アルゴリズムに対する後悔の束縛であることを示す理論的結果を示す。
• 参考スコア（独自算出の注目度）: 12.221894353699918
• License:
• Abstract: The weak-to-strong generalization phenomenon is the driver for important machine learning applications including highly data-efficient learning and, most recently, performing superalignment. While decades of research have resulted in numerous algorithms that produce strong empirical performance, understanding what aspects of data enable weak-to-strong generalization has been understudied. We propose a simple data-centric mechanism that characterizes weak-to-strong generalization: the overlap density. Intuitively, generalization tracks the number of points that contain overlaps, i.e., both easy patterns (learnable by a weak model) and challenging patterns (only learnable by a stronger model), as with such points, weak predictions can be used to learn challenging patterns by stronger models. We provide a practical overlap detection algorithm to find such points in datasets and leverage them to learn, among multiple sources of data, which to query when seeking to maximize overlap density and thereby enhance weak-to-strong generalization. We present a theoretical result showing that the generalization benefit is a function of the overlap density and a regret bound for our data selection algorithm. Empirically, we validate the mechanism and the overlap detection algorithm on a wide array of settings.
• Abstract（参考訳）: 弱いから強い一般化現象は、非常にデータ効率のよい学習や、最近ではスーパーアライメントの実行を含む、重要な機械学習応用の原動力である。 何十年にもわたっての研究によって、強い経験的性能を生み出す多くのアルゴリズムが生まれてきたが、データのどの側面が弱い対強の一般化を可能にするのかを理解することは研究されている。 重なり密度という弱強一般化を特徴付ける単純なデータ中心機構を提案する。 直感的には、一般化は重複を含む点の数、すなわち簡単なパターン(弱いモデルで学習可能)と挑戦パターン(より強いモデルでのみ学習可能)の両方を追跡する。 重なり密度を最大化し、弱みと強みの一般化を高めるために、複数のデータソースの中から、データセット内のそのような点を見つけ、それらを学習するために活用する実用的な重なり検出アルゴリズムを提供する。 一般化の利点は重なり合う密度の関数であり、データ選択アルゴリズムに対する後悔の束縛であることを示す理論的結果を示す。 実験により,その機構と重なり検出アルゴリズムを広範囲な設定で検証した。

関連論文リスト

• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Data Factors for Better Compositional Generalization [60.698130703909804]
  我々は、異なるデータ要素を持つ様々なトレーニングセット上で、Transformerモデルをトレーニングすることで、経験的分析を行う。 データセットの複雑さが増大すると、複数の異なる一般化課題におけるより優れた一般化行動がもたらされることを示す。 難易度の異なるトレーニング例が一般化にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2023-11-08T01:27:34Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Spectral Regularization Allows Data-frugal Learning over Combinatorial Spaces [13.36217184117654]
  機械学習モデルのスペクトル表現の規則化は、ラベル付きデータが乏しい場合に一般化能力を向上させることを示す。 正規化損失の勾配降下は、いくつかのデータ共有現実問題におけるベースラインアルゴリズムと比較して、より優れた一般化性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-05T23:31:54Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• A Simplicity Bubble Problem in Formal-Theoretic Learning Systems [1.7996150751268578]
  機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。 本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
  論文  参考訳（メタデータ） (2021-12-22T23:44:47Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。