論文の概要: Like Father, Like Son: Kinship-Aware Preference Mapping (KARMA) for Automatic Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.18744v1
• Date: Wed, 26 Feb 2025 01:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:24.424443
• Title: Like Father, Like Son: Kinship-Aware Preference Mapping (KARMA) for Automatic Alignment in Large Language Models
• Title（参考訳）: 父のように、息子のように: 大きな言語モデルにおける自動アライメントのためのKARMA(Kinship-Aware Preference Mapping)
• Authors: Jeesu Jung, Chanjun Park, Sangkeun Jung,
• Abstract要約: Kinship-Aware pReference MApping (KARMA)は、同等の能力を持つモデルから応答をペアリングする新しいフレームワークである。 類似の複雑さと品質の出力に対する選好比較を制約することにより、KARMAは選好データの情報性を高める。 経験的評価は、我々の親族認識アプローチがより一貫性があり、解釈可能なアライメントの結果をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 2.970904425631548
• License:
• Abstract: Recent advancements in Large Language Model (LLM) alignment have sought to mitigate the cost of human annotations by leveraging pretrained models to generate preference data. However, existing methods often compare responses from models with substantially different capabilities, yielding superficial distinctions that fail to provide meaningful guidance on what constitutes a superior response. To address this limitation, we propose Kinship-Aware pReference MApping (KARMA), a novel framework that systematically pairs responses from models with comparable competencies. By constraining preference comparisons to outputs of similar complexity and quality, KARMA enhances the informativeness of preference data and improves the granularity of alignment signals. Empirical evaluations demonstrate that our kinship-aware approach leads to more consistent and interpretable alignment outcomes, ultimately facilitating a more principled and reliable pathway for aligning LLM behavior with human preferences.
• Abstract（参考訳）: 近年のLarge Language Model (LLM)アライメントの進歩は、事前訓練されたモデルを利用して嗜好データを生成することによって、人間のアノテーションのコストを軽減しようとしている。 しかし、既存の手法は、かなり異なる能力を持つモデルからの応答を比較することが多く、優れた応答を構成するものについて意味のあるガイダンスを提供するのに失敗する表面的な区別をもたらす。 この制限に対処するため,Kineship-Aware pReference MApping (KARMA)を提案する。 類似の複雑さと品質の出力に対する選好比較を制約することにより、KARMAは、選好データの情報性を高め、アライメント信号の粒度を向上する。 経験的評価は、我々の親族認識アプローチがより一貫性と解釈可能なアライメントの結果をもたらし、究極的には、LLMの行動と人間の嗜好を整合させる、より原理的で信頼性の高い経路を助長することを示している。

関連論文リスト

• Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
  本稿では,応答条件付きBradley-Terryモデルを提案する。 また、大規模言語モデルの直接ポリシー最適化(DPO)にRc-BTモデルを利用するRc-DPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-02T14:50:25Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
  我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。 OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Aligning Language Models Using Follow-up Likelihood as Reward Signal [40.388526412214276]
  そこで本稿では,好ましくない応答を区別するための報奨として,フォローアップ発話の可能性を提案する。 提案した報奨機構であるFollow-up Likelihood as Reward (FLR) は,大規模人やGPT-4アノテートデータに基づいてトレーニングされた強力な報奨モデルの性能と一致する。
  論文  参考訳（メタデータ） (2024-09-20T23:47:25Z)
• TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
  我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。 TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。 実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-31T05:37:01Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。