論文の概要: Towards Universal Debiasing for Language Models-based Tabular Data Generation

• arxiv url: http://arxiv.org/abs/2509.16475v1
• Date: Sat, 20 Sep 2025 00:06:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.811905
• Title: Towards Universal Debiasing for Language Models-based Tabular Data Generation
• Title（参考訳）: 言語モデルに基づく語彙データ生成のための普遍的デバイアス化に向けて
• Authors: Tianchun Li, Tianci Liu, Xingchen Wang, Rongzhe Wei, Pan Li, Lu Su, Jing Gao,
• Abstract要約: 我々は,グループレベルの依存性を最小限に抑える汎用的デバイアスフレームワークを導入し,有利属性と保護属性の相互情報を同時に低減する。 当社のフレームワークは公平性とユーティリティのバランスを効果的に保ち、高度アプリケーションでデバイアスを行うためのスケーラブルで実用的なソリューションを提供します。
• 参考スコア（独自算出の注目度）: 16.31419748401203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved promising results in tabular data generation. However, inherent historical biases in tabular datasets often cause LLMs to exacerbate fairness issues, particularly when multiple advantaged and protected features are involved. In this work, we introduce a universal debiasing framework that minimizes group-level dependencies by simultaneously reducing the mutual information between advantaged and protected attributes. By leveraging the autoregressive structure and analytic sampling distributions of LLM-based tabular data generators, our approach efficiently computes mutual information, reducing the need for cumbersome numerical estimations. Building on this foundation, we propose two complementary methods: a direct preference optimization (DPO)-based strategy, namely UDF-DPO, that integrates seamlessly with existing models, and a targeted debiasing technique, namely UDF-MIX, that achieves debiasing without tuning the parameters of LLMs. Extensive experiments demonstrate that our framework effectively balances fairness and utility, offering a scalable and practical solution for debiasing in high-stakes applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は表型データ生成において有望な結果を得た。 しかし、表形式のデータセットに固有の歴史的バイアスは、特に複数の有利で保護された特徴が関与している場合、LLMが公平性問題を悪化させる。 本研究では,グループレベルの依存性を最小限に抑えるとともに,属性と保護属性の相互情報を同時に低減するユニバーサルデバイアス化フレームワークを提案する。 LLMをベースとした表型データ生成装置の自己回帰構造と解析的サンプリング分布を活用することにより、相互情報を効率的に計算し、煩雑な数値推定の必要性を低減できる。 本研究は,従来のモデルとシームレスに連携するDPO(direct preference optimization, DPO)ベースの戦略,すなわちUDF-DPOと,LCMのパラメータを調整せずにデバイアスを実現するUDF-MIXの2つの相補的手法を提案する。 大規模な実験により、当社のフレームワークは公平性と実用性を効果的にバランスし、高度なアプリケーションでデバイアスを解消するためのスケーラブルで実用的なソリューションを提供しています。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• A Note on Statistically Accurate Tabular Data Generation Using Large Language Models [0.0]
  この研究は、大規模言語モデルを利用して条件分布を推定する確率駆動的プロンプト手法を導入する。 その結果,大規模言語モデルが生成するデータの統計的忠実度を高めるために,確率分布の促進の可能性を強調した。
  論文  参考訳（メタデータ） (2025-05-05T14:05:15Z)
• Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models [40.853803921563596]
  現在の大規模言語モデル(LLM)は、まだデータセットのバイアスをキャプチャして、推論時に利用することができる。 本稿では,情報ゲイン誘導型因果介入脱バイアスフレームワークを提案する。 ICDはLLMを効果的にデバイアスし、様々なタスクにおける一般化性を向上させる。
  論文  参考訳（メタデータ） (2025-04-17T12:39:25Z)
• LLM-TabLogic: Preserving Inter-Column Logical Relationships in Synthetic Tabular Data via Prompt-Guided Latent Diffusion [49.898152180805454]
  合成データセットはドメイン固有の論理的一貫性を維持する必要がある。 既存の生成モデルは、しばしばこれらのカラム間の関係を見落としている。 本研究では,ドメイン知識を必要とせずに列間関係を効果的に維持する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T00:47:52Z)
• P-TA: Using Proximal Policy Optimization to Enhance Tabular Data Augmentation via Large Language Models [15.969452637480167]
  我々は、GAN(Generative Adversarial Networks)を適用するために、PPO(Maximal Policy Optimization)を提案する。 PPOは、最先端のデータセットに対して合成生成されたデータに基づいてトレーニングされたモデルの精度を約4%向上させる。
  論文  参考訳（メタデータ） (2024-06-17T10:22:00Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。