論文の概要: A Challenge in Reweighting Data with Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2310.17386v1
- Date: Thu, 26 Oct 2023 13:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 20:18:36.242423
- Title: A Challenge in Reweighting Data with Bilevel Optimization
- Title（参考訳）: バイレベル最適化によるデータ重み付けの課題
- Authors: Anastasia Ivanova and Pierre Ablin
- Abstract要約: バイレベルソルバは、モデルパラメータとデータウェイトの両方を同時に学習するウォームスタート戦略に基づいている。
このジョイントダイナミクスは、最終的なデータの重み付けが極めて少ない準最適解に繋がる可能性があることを示す。
この発見は、データ再重み付けの難しさを浮き彫りにしており、この方法が実際に使われない理由を手がかりにしている。
- 参考スコア（独自算出の注目度）: 11.910900792664288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many scenarios, one uses a large training set to train a model with the
goal of performing well on a smaller testing set with a different distribution.
Learning a weight for each data point of the training set is an appealing
solution, as it ideally allows one to automatically learn the importance of
each training point for generalization on the testing set. This task is usually
formalized as a bilevel optimization problem. Classical bilevel solvers are
based on a warm-start strategy where both the parameters of the models and the
data weights are learned at the same time. We show that this joint dynamic may
lead to sub-optimal solutions, for which the final data weights are very
sparse. This finding illustrates the difficulty of data reweighting and offers
a clue as to why this method is rarely used in practice.
- Abstract（参考訳）: 多くのシナリオでは、異なる分布を持つ小さなテストセットでうまく機能することを目的として、モデルをトレーニングするために大規模なトレーニングセットを使用する。
トレーニングセットの各データポイントの重みを学習することは魅力的なソリューションであり、理想的には、テストセットの一般化のために各トレーニングポイントの重要性を自動的に学習できる。
この課題は通常二段階最適化問題として定式化される。
古典的双レベル解法は、モデルのパラメータとデータ重みの両方を同時に学習するウォームスタート戦略に基づいている。
このジョイントダイナミクスは、最終的なデータの重み付けが極めて少ない準最適解につながる可能性があることを示す。
この発見はデータの重み付けの難しさを示しており、この方法が実際に使用されることは稀である。
関連論文リスト
- Dynamic Data Mixing Maximizes Instruction Tuning for Mixture-of-Experts [20.202031878825153]
そこで本研究では,MoE命令チューニングのための新しい動的データ混合手法を提案する。
MoEのトークンルーティングの好みにインスパイアされた私たちは、データセットレベルの表現を構築し、データセット間の微妙な違いをキャプチャします。
2つのMoEモデルの結果は、下流の知識と推論タスクとオープンエンドクエリの両方に対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-06-17T06:47:03Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T16:09:17Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。
実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
論文 参考訳（メタデータ） (2021-09-07T17:30:56Z) - BiFair: Training Fair Models with Bilevel Optimization [8.2509884277533]
我々は,ユーティリティの最小化と公正な関心の喪失を両立させる,BiFairという新しいトレーニングアルゴリズムを開発した。
我々のアルゴリズムは、常により良い性能、すなわち、与えられた公正度メトリックのより優れた値、あるいはより高い精度で到達する。
論文 参考訳（メタデータ） (2021-06-03T22:36:17Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳（メタデータ） (2021-06-02T11:39:25Z) - Finding High-Value Training Data Subset through Differentiable Convex
Programming [5.5180456567480896]
本稿では,トレーニングデータの高値部分集合を選択する問題について検討する。
重要なアイデアは、オンラインサブセット選択のための学習可能なフレームワークを設計することです。
このフレームワークを用いて,選択モデルとmlモデルのパラメータを共同で学習するオンライン交流最小化アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-04-28T14:33:26Z) - The World is Not Binary: Learning to Rank with Grayscale Data for
Dialogue Response Selection [55.390442067381755]
人間の努力なしに、グレースケールのデータを自動的に構築できることが示される。
本手法では,自動グレースケールデータ生成装置として,市販の応答検索モデルと応答生成モデルを用いる。
3つのベンチマークデータセットと4つの最先端マッチングモデルの実験は、提案手法が大幅に、一貫したパフォーマンス改善をもたらすことを示している。
論文 参考訳（メタデータ） (2020-04-06T06:34:54Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳（メタデータ） (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。