論文の概要: Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression

• arxiv url: http://arxiv.org/abs/2506.07033v1
• Date: Sun, 08 Jun 2025 07:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.640429
• Title: Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
• Title（参考訳）: 有茎不均衡回帰に対するテスト時間自己スーパービジョンアグリゲーションを用いた混合専門家
• Authors: Yung-Chien Wang, Kuang-Da Wang, Wei-Yao Wang, Wen-Chih Peng,
• Abstract要約: タブラル不均衡回帰に対するテスト時間自己監督アグリゲーションを用いた混合専門家の提案を行う。 住宅価格,自転車シェアリング,年齢予測など,実世界の4つのデータセットでMATIを評価した。 これら3つのテストディストリビューションの平均で、MATIは既存の方法に比べて7.1%改善した。
• 参考スコア（独自算出の注目度）: 12.35924469567586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data serve as a fundamental and ubiquitous representation of structured information in numerous real-world applications, e.g., finance and urban planning. In the realm of tabular imbalanced applications, data imbalance has been investigated in classification tasks with insufficient instances in certain labels, causing the model's ineffective generalizability. However, the imbalance issue of tabular regression tasks is underexplored, and yet is critical due to unclear boundaries for continuous labels and simplifying assumptions in existing imbalance regression work, which often rely on known and balanced test distributions. Such assumptions may not hold in practice and can lead to performance degradation. To address these issues, we propose MATI: Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalance Regression, featuring two key innovations: (i) the Region-Aware Mixture Expert, which adopts a Gaussian Mixture Model to capture the underlying related regions. The statistical information of each Gaussian component is then used to synthesize and train region-specific experts to capture the unique characteristics of their respective regions. (ii) Test-Time Self-Supervised Expert Aggregation, which dynamically adjusts region expert weights based on test data features to reinforce expert adaptation across varying test distributions. We evaluated MATI on four real-world tabular imbalance regression datasets, including house pricing, bike sharing, and age prediction. To reflect realistic deployment scenarios, we adopted three types of test distributions: a balanced distribution with uniform target frequencies, a normal distribution that follows the training data, and an inverse distribution that emphasizes rare target regions. On average across these three test distributions, MATI achieved a 7.1% improvement in MAE compared to existing methods.
• Abstract（参考訳）: タブラルデータは、金融や都市計画など、多くの現実世界の応用において、構造化情報の基本的かつユビキタスな表現として機能する。 表付き不均衡アプリケーションにおいては、特定のラベルに不十分なインスタンスを持つ分類タスクにおいてデータ不均衡が調査され、モデルの非効率な一般化性の原因となった。 しかし、表付き回帰タスクの不均衡問題は過小評価されているが、連続ラベルの境界が不明確であり、既存の不均衡回帰作業における仮定が単純化されているため、しばしば既知のテスト分布とバランスの取れたテスト分布に依存しているため、重要な問題である。 このような仮定は実際には成立せず、パフォーマンスの低下につながる可能性がある。 これらの問題に対処するため、我々はMATIを提案する: テストタイムで自己監視されたタブラル不均衡回帰のための混合専門家。 i) ガウス混合モデルを採用し、その基盤となる領域を捕捉する領域認識混合エキスパート。 それぞれのガウス成分の統計情報は、それぞれの地域固有の専門家を合成し、訓練するために使用される。 二 試験データの特徴に基づいて地域専門家の体重を動的に調整し、様々な試験分布にまたがる専門家適応を強化するテスト時自己監督専門家集合体。 住宅価格,自転車シェアリング,年齢予測を含む4つの実世界の表層不均衡回帰データセットを用いてMATIを評価した。 現実的な展開シナリオを反映するために、我々は、均一な目標周波数を持つバランスの取れた分布、トレーニングデータに従う正規分布、希少な目標領域を強調する逆分布の3つのタイプのテスト分布を採用した。 これら3つのテストディストリビューションの平均で、MATIは既存の方法に比べて7.1%改善した。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• AdapTable: Test-Time Adaptation for Tabular Data via Shift-Aware Uncertainty Calibrator and Label Distribution Handler [29.395855812763617]
  我々は、ソースデータにアクセスすることなく、ターゲットデータに機械学習モデルを適用するためのフレームワークであるAdapTableを提案する。 AdapTableは、(1)シフト認識不確実性校正器を用いてモデル予測を校正し、2)ターゲットラベル分布とラベル分布ハンドラとを一致させるようにこれらの予測を調整する。 我々の結果は、AdapTableが様々な現実世界の分散シフトを処理できることを示し、データセットで最大16%の改善を実現した。
  論文  参考訳（メタデータ） (2024-07-15T15:02:53Z)
• Uncertainty Voting Ensemble for Imbalanced Deep Regression [20.176217123752465]
  本稿では,不均衡なデータから学習するUVOTEを紹介する。 従来の回帰損失を負の対数類似度に置き換え、サンプルワイドのアレタリックな不確実性も予測する。 UVOTEは先行技術より一貫して優れており、同時に精度のよい不確実性評価が得られている。
  論文  参考訳（メタデータ） (2023-05-24T14:12:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Causal Balancing for Domain Generalization [95.97046583437145]
  そこで本研究では,観察されたトレーニング分布の領域特異的なスプリアス相関を低減するために,バランスの取れたミニバッチサンプリング戦略を提案する。 本研究では, 突発性源の同定可能性を保証するとともに, バランスの取れた, 突発性のない分布から, 提案手法が有効にサンプリング可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-10T17:59:11Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。