論文の概要: Anyprefer: An Agentic Framework for Preference Data Synthesis

• arxiv url: http://arxiv.org/abs/2504.19276v1
• Date: Sun, 27 Apr 2025 15:21:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.212924
• Title: Anyprefer: An Agentic Framework for Preference Data Synthesis
• Title（参考訳）: Anyprefer: 優先度データ合成のためのエージェントフレームワーク
• Authors: Yiyang Zhou, Zhaoyang Wang, Tianle Wang, Shangyu Xing, Peng Xia, Bo Li, Kaiyuan Zheng, Zijian Zhang, Zhaorun Chen, Wenhao Zheng, Xuchao Zhang, Chetan Bansal, Weitong Zhang, Ying Wei, Mohit Bansal, Huaxiu Yao,
• Abstract要約: ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。 審査員モデルの応答を正確に評価するために、外部ツールが導入される。 合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
• 参考スコア（独自算出の注目度）: 62.3856754548222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality preference data is essential for aligning foundation models with human values through preference learning. However, manual annotation of such data is often time-consuming and costly. Recent methods often adopt a self-rewarding approach, where the target model generates and annotates its own preference data, but this can lead to inaccuracies since the reward model shares weights with the target model, thereby amplifying inherent biases. To address these issues, we propose Anyprefer, a framework designed to synthesize high-quality preference data for aligning the target model. Anyprefer frames the data synthesis process as a cooperative two-player Markov Game, where the target model and the judge model collaborate together. Here, a series of external tools are introduced to assist the judge model in accurately rewarding the target model's responses, mitigating biases in the rewarding process. In addition, a feedback mechanism is introduced to optimize prompts for both models, enhancing collaboration and improving data quality. The synthesized data is compiled into a new preference dataset, Anyprefer-V1, consisting of 58K high-quality preference pairs. Extensive experiments show that Anyprefer significantly improves model alignment performance across four main applications, covering 21 datasets, achieving average improvements of 18.55% in five natural language generation datasets, 3.66% in nine vision-language understanding datasets, 30.05% in three medical image analysis datasets, and 16.00% in four visuo-motor control tasks.
• Abstract（参考訳）: 高品質な嗜好データは、嗜好学習を通じて基礎モデルと人的価値の整合に不可欠である。 しかし、そのようなデータの手動アノテーションは、しばしば時間がかかり、コストがかかる。 近年の手法では、ターゲットモデルが自身の好みデータを生成・注釈するセルフリワード方式が採用されているが、報酬モデルが目標モデルと重みを共有するため、固有のバイアスが増幅されるため、不正確になる可能性がある。 これらの問題に対処するために、ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。 Anypreferは、データ合成プロセスを、ターゲットモデルと審査モデルが協調する、協調的な2人プレイヤのマルコフゲームとしてフレーム化している。 ここでは、対象モデルの応答を正確に評価し、報奨プロセスにおけるバイアスを軽減するために、審査員モデルを支援するための一連の外部ツールが導入された。 さらに、両方のモデルのプロンプトを最適化し、コラボレーションを強化し、データ品質を改善するためのフィードバックメカニズムも導入されている。 合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。 大規模な実験によると、Anypreferは、21のデータセットをカバーし、5つの自然言語生成データセットで平均18.55%、9つの視覚言語理解データセットで3.66%、3つの医用画像分析データセットで30.05%、そして4つのビスオモダ制御タスクで16.00%のモデルアライメント性能を著しく改善している。

関連論文リスト

• Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models [7.61977883644433]
  我々はPRRCを提案し、プロフェッショナル主義、可読性、推論、クリーンラインにまたがるデータ品質を評価する。 学習した最適重み付けにより,これらの次元を既存の品質指標と統合する多次元データ選択手法であるMeta-raterを紹介する。 実験により、Meta-raterは1.3Bパラメータモデルの収束速度を2倍にし、100Bトークンでトレーニングされた3.3Bモデルにおいて、ダウンストリームタスクのパフォーマンスを3.23倍改善することを示した。
  論文  参考訳（メタデータ） (2025-04-19T06:12:33Z)
• More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment [80.04449725137177]
  直接選好最適化(DPO)は、人間のフィードバックによる強化学習の、シンプルで効果的な代替手段として登場した。 我々の研究は、DPOアライメントに関連する、目覚ましい、安全性に特有な現象を明らかにした。 選択されたペアと拒否されたペアに対してのみ自己生成されたレスポンスを使用することで、より強力なモデルからのレスポンスを含む構成を大幅に上回る。
  論文  参考訳（メタデータ） (2025-04-03T00:36:40Z)
• Evaluating Sample Utility for Data Selection by Mimicking Model Weights [12.056542160711718]
  ファンデーションモデルは、しばしばノイズ、バイアス、無関係な情報を含む大規模なWebcrawledデータセットに基づいてトレーニングされている。 我々は,新しいデータ品質指標であるMimic Scoreを用いて,効率的なモデルベースアプローチを提案する。 学習のためのサンプルを優先し,効率的なフィルタを作成し,データ選択を自動化するフレームワークであるGrad-Mimicを開発した。
  論文  参考訳（メタデータ） (2025-01-12T04:28:14Z)
• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• Automated Filtering of Human Feedback Data for Aligning Text-to-Image Diffusion Models [36.84880190385986]
  人間のフィードバックによる微調整によるテキスト・ツー・イメージの拡散モデルは、フィードバックデータセットにある大きなサイズとノイズのために、しばしば緩やかな収束に悩まされる。 本研究では,人間のフィードバックデータセットを用いた拡散モデルの微調整性向上を目的とした,新しい自動データフィルタリングアルゴリズムFiFAを提案する。 実験の結果,FiFAはトレーニングの安定性を著しく向上し,ヒトの17%が好んでいる。
  論文  参考訳（メタデータ） (2024-10-14T05:18:07Z)
• Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment [51.14207112118503]
  我々は、優先順位を効率的に捉えるために、応答を潜在空間に埋め込むアプローチである選好埋め込みを導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison [9.324894567200582]
  選好データセットを、スケール、ラベルノイズ、情報内容の3つの視点で体系的に研究する。 我々の研究は、RLHFのトレーニング効率と反復的なデータ収集を支援する視点を提供することで、アライメントに対するデータ中心のアプローチに向けた第一歩です。
  論文  参考訳（メタデータ） (2024-09-15T03:55:03Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)
• Dataset Regeneration for Sequential Recommendation [69.93516846106701]
  DR4SRと呼ばれるモデルに依存しないデータセット再生フレームワークを用いて、理想的なトレーニングデータセットを開発するためのデータ中心のパラダイムを提案する。 データ中心のパラダイムの有効性を示すために、我々はフレームワークを様々なモデル中心の手法と統合し、4つの広く採用されているデータセット間で大きなパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-05-28T03:45:34Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。