論文の概要: IM-Context: In-Context Learning for Imbalanced Regression Tasks
- arxiv url: http://arxiv.org/abs/2405.18202v2
- Date: Mon, 28 Oct 2024 15:53:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:13:28.204930
- Title: IM-Context: In-Context Learning for Imbalanced Regression Tasks
- Title（参考訳）: IM-Context:不均衡回帰タスクのためのインコンテキスト学習
- Authors: Ismail Nejjar, Faez Ahmed, Olga Fink,
- Abstract要約: 本稿では,従来の非重み付き学習手法の代替として,文脈内学習へのパラダイムシフトを提案する。
インコンテキスト学習(In-context learning)とは、インコンテキストサンプルからなるプロンプトシーケンスが与えられたモデル自体を条件にすることができることを指す。
理論的および経験的両視点から,プロンプトシーケンスがモデル性能に与える影響について検討した。
- 参考スコア（独自算出の注目度）: 9.318067144029403
- License:
- Abstract: Regression models often fail to generalize effectively in regions characterized by highly imbalanced label distributions. Previous methods for deep imbalanced regression rely on gradient-based weight updates, which tend to overfit in underrepresented regions. This paper proposes a paradigm shift towards in-context learning as an effective alternative to conventional in-weight learning methods, particularly for addressing imbalanced regression. In-context learning refers to the ability of a model to condition itself, given a prompt sequence composed of in-context samples (input-label pairs) alongside a new query input to generate predictions, without requiring any parameter updates. In this paper, we study the impact of the prompt sequence on the model performance from both theoretical and empirical perspectives. We emphasize the importance of localized context in reducing bias within regions of high imbalance. Empirical evaluations across a variety of real-world datasets demonstrate that in-context learning substantially outperforms existing in-weight learning methods in scenarios with high levels of imbalance.
- Abstract（参考訳）: 回帰モデルは、高度に不均衡なラベル分布を特徴とする領域において、効果的に一般化できないことが多い。
深い不均衡回帰の従来の方法は勾配に基づく重み更新に依存しており、未表現領域では過度に適合する傾向にある。
本稿では、従来の非重み付き学習手法の代替として、特に不均衡な回帰に対処する手段として、文脈内学習へのパラダイムシフトを提案する。
インコンテキスト学習(In-context learning)とは、パラメータ更新を必要とせず、新しいクエリ入力とともに、インコンテキストサンプル(インプットラベルペア)からなるプロンプトシーケンスを与えられたモデル自体を条件にすることができることを指す。
本稿では,提案手法がモデル性能に与える影響を理論的・経験的両面から検討する。
高不均衡領域におけるバイアス軽減における局所的文脈の重要性を強調した。
実世界のさまざまなデータセットに対する実証的な評価では、コンテキスト内学習は、高レベルの不均衡を伴うシナリオにおいて、既存の非重み付き学習方法を大幅に上回っていることが示されている。
関連論文リスト
- Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。
そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
論文 参考訳（メタデータ） (2024-10-30T14:09:00Z) - Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Imbalance in Regression Datasets [0.9374652839580183]
我々は、レグレッションの不均衡が、これまで見過ごされてきた同様に重要な問題であると主張している。
データセットのターゲット分布の過大な表現と過大な表現のため、回帰器は単純なモデルに縮退する傾向にある。
論文 参考訳（メタデータ） (2024-02-19T09:06:26Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳（メタデータ） (2022-05-31T16:27:57Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T03:17:54Z) - Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。
近年の文献では、この目標を達成するために表現学習を探求している。
因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-10-23T19:06:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。