論文の概要: Cross-Relational Preference Learning for Better LLM Instruction Following
- arxiv url: http://arxiv.org/abs/2608.29352v1
- Date: Sat, 29 Aug 2026 16:17:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.940616
- Title: Cross-Relational Preference Learning for Better LLM Instruction Following
- Title（参考訳）: より良いLDM指導のための相互関係推論学習
- Abstract要約: 本稿では,授業間関係を明示的にモデル化した嗜好データ構築のための新しいフレームワークを提案する。
また、応答満足度を厳格に評価するための原子制約に基づく検証機構も導入する。
- 参考スコア（独自算出の注目度）: 20.423654246349006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) still exhibit limited capability in following complex instructions. While existing approaches often rely on preference learning to enhance this ability, they typically overlook the relationships between the permissible response spaces of different instructions, which restricts a model to align with subtle and diverse constraint variations. To address this, we propose Cross-Relational Preference Learning (CRPL), a novel framework for constructing preference data that explicitly models inter-instruction relationships through two key techniques: Cross-Relationship Perturbation and Cross-Region Pair Sampling. This enables the generation of more diverse preference data that captures a wide spectrum of constraint variations. Additionally, we introduce an atomic constraint-based verification mechanism to rigorously assess response satisfaction, ensuring high-quality preference pair construction. Extensive experiments across multiple preference learning methods (e.g., DPO, KTO), LLM backbones and four instruction-following benchmarks demonstrate that our approach achieves substantial improvements over prior baselines and exhibits strong generalization.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な命令に従う場合に限定的な能力を示す。
既存のアプローチでは、この能力を高めるために好みの学習に頼っていることが多いが、通常、異なる命令の許容応答空間間の関係を見落とし、微妙で多様な制約のバリエーションに合わせてモデルを制限している。
これを解決するために,クロスリレーショナル・プライオリエンス・ラーニング(CRPL)を提案する。クロスリレーショナル・プライオリエンス・ラーニング(CRPL)とは,クロスリレーショナル・パース・サンプリングとクロスリレーショナル・ペア・サンプリングという2つの主要な手法によって,インストラクション間の関係を明示的にモデル化する,嗜好データを構築するための新しいフレームワークである。
これにより、幅広い制約変動をキャプチャするより多様な好みデータを生成することができる。
さらに、応答満足度を厳格に評価し、高品質な選好ペアの構成を保証するための原子制約に基づく検証機構を導入する。
複数の選好学習手法(例えば、DPO、KTO)、LLMバックボーン、および4つの命令追従ベンチマークの広範な実験は、我々の手法が従来のベースラインよりも大幅に改善され、強力な一般化を示すことを示している。
関連論文リスト
- Reciprocal Co-Training (RCT): Coupling Gradient-Based and Non-Differentiable Models via Reinforcement Learning [3.8126346464908067]
大規模言語モデル(LLM)と古典的な機械学習手法は、予測モデリングに補完的な長所を提供する。
LLMはテキストデータに対する勾配に基づく最適化に依存しているが、Random Forests (RF) のようなモデルは微分不可能な特徴分割を採用している。
本研究では,LLMとRF分類器を併用した相互協調学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-24T20:21:31Z) - Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。
ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
論文 参考訳（メタデータ） (2025-10-04T11:10:07Z) - Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。
この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
論文 参考訳（メタデータ） (2025-06-11T02:08:52Z) - Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。
RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。
本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:33:11Z) - SRA-CL: Semantic Retrieval Augmented Contrastive Learning for Sequential Recommendation [23.050104678143935]
SRA-CL(Semantic Retrieval Augmented Contrastive Learning)という新しい手法を提案する。
SRA-CLはLLMのセマンティック理解と推論機能を活用し、ユーザの好みやアイテムの特徴をキャプチャする表現的な埋め込みを生成する。
SRA-CLはプラグイン・アンド・プレイの設計を採用しており、既存のシーケンシャルレコメンデーションアーキテクチャとシームレスに統合できる。
論文 参考訳（メタデータ） (2025-03-06T07:25:19Z) - MuSC: Improving Complex Instruction Following with Multi-granularity Self-Contrastive Training [36.483136685734735]
より強力なモデルに頼ることなく、複雑な命令アライメントを改善するために、MuSC(Multi-granularity Self-Contrastive Training)フレームワークを提案する。
提案手法は,オープンソースモデルを用いて評価し,提案手法が複雑かつ一般的な命令追従ベンチマークにおいて有意な改善をもたらすことを示す実験結果を得た。
論文 参考訳（メタデータ） (2025-02-17T08:12:49Z) - Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。
我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。
また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。
成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。
選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文 参考訳（メタデータ） (2024-09-04T15:11:55Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳（メタデータ） (2024-02-12T22:47:57Z) - Hybrid Relation Guided Set Matching for Few-shot Action Recognition [51.3308583226322]
本稿では,2つの鍵成分を組み込んだHybrid Relation Guided Set Matching (HyRSM) 手法を提案する。
ハイブリッドリレーションモジュールの目的は、エピソード内の関連関係とクロスビデオの完全活用により、タスク固有の埋め込みを学習することである。
我々は,HyRSMを6つの挑戦的ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-04-28T11:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。