論文の概要: Limited Preference Data? Learning Better Reward Model with Latent Space Synthesis

• arxiv url: http://arxiv.org/abs/2509.26074v1
• Date: Tue, 30 Sep 2025 10:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.107133
• Title: Limited Preference Data? Learning Better Reward Model with Latent Space Synthesis
• Title（参考訳）: 限定選好データ?潜時空間合成によるより良い回帰モデル学習
• Authors: Leitian Tao, Xuefeng Du, Yixuan Li,
• Abstract要約: リワードモデリングは、大きな言語モデルと人間の嗜好の整合に不可欠である。 既存のテキストデータ合成手法は計算コストが高い。 本稿では,言語に潜む埋め込み空間において,好みデータを直接合成するための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.419507599060285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward modeling, crucial for aligning large language models (LLMs) with human preferences, is often bottlenecked by the high cost of preference data. Existing textual data synthesis methods are computationally expensive. We propose a novel framework LENS for synthesizing preference data directly in the LLM's latent embedding space. Our method employs a Variational Autoencoder (VAE) to learn a structured latent representation of response embeddings. By performing controlled perturbations in this latent space and decoding back to the embedding space, we efficiently generate diverse, semantically consistent synthetic preference pairs, bypassing costly text generation and annotation. We provide theoretical guarantees that our synthesized pairs approximately preserve original preference ordering and improve reward model generalization. Empirically, our latent-space synthesis significantly outperforms text-based augmentation on standard benchmarks, achieving superior results while being 18x faster in generation and using a 16,000x smaller model. Our work offers a scalable and effective alternative for enhancing reward modeling through efficient data augmentation. Code is publicly available at https://github.com/deeplearning-wisc/lens
• Abstract（参考訳）: 大規模言語モデル(LLM)と人間の嗜好の整合に不可欠なリワードモデリングは、高コストの嗜好データによってボトルネックとなることが多い。 既存のテキストデータ合成手法は計算コストが高い。 LLMの潜伏埋め込み空間において、好みデータを直接合成するための新しいフレームワークLENSを提案する。 本手法では, 可変オートエンコーダ (VAE) を用いて, 応答埋め込みの構造化された潜在表現を学習する。 この潜在空間で制御された摂動を実行し、埋め込み空間に復号することで、コストのかかるテキスト生成とアノテーションをバイパスして、多種多様な意味的に一貫性のある合成選好ペアを効率的に生成する。 我々は、合成されたペアが元の選好順序をほぼ保ち、報酬モデル一般化を改善することを理論的に保証する。 経験的に、我々の潜在空間合成は、標準ベンチマークでのテキストベースの拡張よりも優れており、生成が18倍速く、16,000倍小さいモデルで優れた結果が得られる。 我々の仕事は、効率的なデータ拡張を通じて報酬モデリングを強化するスケーラブルで効果的な代替手段を提供する。 コードはhttps://github.com/deeplearning-wisc/lensで公開されている。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Synthetic Data Generation Using Large Language Models: Advances in Text and Code [0.0]
  大規模言語モデル(LLM)は、自然言語とコードドメインの両方で合成トレーニングデータ生成を変換している。 我々は、プロンプトベースの生成、検索拡張パイプライン、反復的な自己精製といった重要なテクニックを強調した。 本稿では,生成テキストにおける事実的不正確性,文体的あるいは分布的リアリズムの不足,バイアス増幅のリスクなど,関連する課題について論じる。
  論文  参考訳（メタデータ） (2025-03-18T08:34:03Z)
• Synthetic Text Generation for Training Large Language Models via Gradient Matching [27.74603049449281]
  合成可読テキストを生成するための理論的に厳密な最初のアプローチを提案する。 合成例の埋め込みを反復的に最適化するために, Alternating Direction Method of Multipliers (ADMM) を利用する。 生成した合成テキストは、実際のデータを微調整して得られた解の近傍にモデルを収束させることを保証している。
  論文  参考訳（メタデータ） (2025-02-24T19:49:15Z)
• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• Private prediction for large-scale synthetic text generation [28.488459921169905]
  大規模言語モデル(LLM)を用いた微分プライベートテキスト生成手法を提案する。 プライベートな予測フレームワークでは、差分プライバシー保証を満たすために出力された合成データのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-16T18:28:40Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。