論文の概要: Self-Improving Tabular Language Models via Iterative Group Alignment

• arxiv url: http://arxiv.org/abs/2604.18966v1
• Date: Tue, 21 Apr 2026 01:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.565413
• Title: Self-Improving Tabular Language Models via Iterative Group Alignment
• Title（参考訳）: 反復群アライメントによる自己改善タブラル言語モデル
• Authors: Yunbo Long, Tejumade Afonja, Alexandra Brintrup, Mario Fritz,
• Abstract要約: 自動フィードバックによるデータ生成のための,最初の自己改善フレームワークであるTabGRAAを紹介する。 新たに生成されたサンプルを高品質なグループと低品質なグループに分割し、グループ相対的な有利な目標を優先順位付けする。 実験では、TabGRAAは、忠実さ、ユーティリティ、プライバシにおいて、既存のメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 76.43372236405664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While language models have been adapted for tabular data generation, two fundamental limitations remain: (1) static fine-tuning produces models that cannot learn from their own generated samples and adapt to self-correct, and (2) autoregressive objectives preserve local token coherence but neglect global statistical properties, degrading tabular quality. Reinforcement learning offers a potential solution but requires designing reward functions that balance competing objectives -- impractical for tabular data. To fill the gap, we introduce TabGRAA (Tabular Group-Relative Advantage Alignment), the first self-improving framework for tabular data generation via automated feedback. At each iteration, TabGRAA uses an \emph{automated quality signal} -- such as a two-sample distinguishability classifier or a distance-based reward -- to partition newly generated samples into high- and low-quality groups, then optimizes a group-relative advantage objective that reinforces realistic patterns while penalizing artifacts. The specific signal is a modular choice rather than a fixed component of the framework. This establishes a virtuous feedback cycle, where the quality signal is re-computed against newly \emph{generated synthetic} samples at each round; the language model is only fine-tuned on these self-generated signals, so no additional real record is exposed during alignment, mitigating data-leakage risk beyond the initial supervised fine-tuning. Experiments show TabGRAA outperforms existing methods in fidelity, utility, and privacy, while matching or exceeding diffusion-based synthesizers, advancing tabular synthesis from static statistical replication to dynamic, self-improving generation.
• Abstract（参考訳）: 言語モデルは表型データ生成に適応してきたが、(1)静的微調整は、それぞれの生成したサンプルから学習できず、自己修正に適応できないモデルを生成し、(2)自己回帰的目的は局所的なトークンコヒーレンスを維持するが、グローバルな統計的性質を無視し、表型品質を劣化させる。 強化学習は潜在的な解決策を提供するが、競合する目的のバランスをとる報酬関数を設計する必要がある。 このギャップを埋めるために,我々はTabGRAA(Tabular Group-Reltage Advantage Alignment)を紹介した。 それぞれのイテレーションにおいて、TabGRAAは \emph{automated quality signal} -- 2サンプルの識別可能性分類器や距離ベースの報酬など -- を使用して、新しく生成されたサンプルを高品質のグループと低品質のグループに分割し、アーティファクトをペナル化しながら現実的なパターンを強化するグループ相対的な優位性目標を最適化する。 特定のシグナルは、フレームワークの固定されたコンポーネントではなくモジュール的な選択である。 言語モデルは、これらの自己生成信号にのみ微調整されているため、アライメント中に追加の実際の記録が露出されず、初期監督された微調整以上のデータ漏洩リスクが軽減される。 実験により、TabGRAAは、拡散ベースのシンセサイザーをマッチングまたは超越し、静的統計レプリケーションから動的自己改善生成への表層合成を前進させながら、忠実さ、実用性、プライバシにおいて既存の手法よりも優れていることが示された。

関連論文リスト

• Reinforcement-Guided Synthetic Data Generation for Privacy-Sensitive Identity Recognition [60.52810518437911]
  高忠実度生成モデルは、プライバシーに敏感なシナリオでますます必要とされている。 限られたデータによって生成モデルは貧弱になり、データ不足を軽減できない。 汎用ドメイン生成の先行を識別タスクに適応させる,強化誘導型合成データ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-09T06:52:03Z)
• ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning [13.307228241887346]
  深層生成モデルは、合成トレーニングデータを生成することによって、データの不足とプライバシに役立ちます。 データ効率を高めるためには、モデルが条件付き分布の学習を優先すべきである。 このアプローチを使って言語モデルベースのジェネレータを実証的に微調整し、小さなサンプルサイズ、クラス不均衡、分散シフトのベンチマークで、ReTabSynは一貫して最先端のベースラインを上回っています。
  論文  参考訳（メタデータ） (2026-03-11T14:31:07Z)
• CTTVAE: Latent Space Structuring for Conditional Tabular Data Generation on Imbalanced Datasets [0.0]
  本稿では,2つの相補的機構を備えた条件変換器を用いたタブラル変分自動エンコーダであるCTTVAEを紹介する。 CTTVAE+TBSは、トレーニングを不安定にすることなく、より代表的で実用性に整ったサンプルを一貫して得る。
  論文  参考訳（メタデータ） (2026-02-03T15:25:26Z)
• Modest-Align: Data-Efficient Alignment for Vision-Language Models [67.48633659305592]
  クロスモーダルアライメントモデルは、リソース制約のある環境での運用において、過信と劣化したパフォーマンスに悩まされることが多い。 我々は,ロバスト性と効率性に配慮した軽量アライメントフレームワークであるModest-Alignを提案する。 本手法は,実世界の低リソースシナリオにおけるクロスモーダルアライメントを実現するための,実用的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-24T16:11:10Z)
• Efficient Autoregressive Inference for Transformer Probabilistic Models [24.106729589790465]
  両パラダイムの利点を保った因果自己回帰バッファを導入する。 統合されたトレーニング戦略により、セットベースと自動回帰モードのシームレスな統合が可能になる。 提案手法は,強いベースラインの予測精度と最大20倍の高速な関節サンプリングを実現する。
  論文  参考訳（メタデータ） (2025-10-10T15:32:58Z)
• Limited Reference, Reliable Generation: A Two-Component Framework for Tabular Data Generation in Low-Data Regimes [7.036974567001374]
  ReFineは、ドメイン固有の機能の配布に向けて生成をガイドするフレームワークである。 様々な回帰と分類のベンチマークの実験では、ReFineは最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-12T04:34:46Z)
• SMOTExT: SMOTE meets Large Language Models [19.394116388173885]
  本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。 提案手法は,既存の2つの例のBERTベースの埋め込みを補間することにより,新しい合成例を生成する。 初期の実験では、生成されたデータのみを対象としたトレーニングモデルは、元のデータセットでトレーニングされたモデルと同等のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-05-19T17:57:36Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。