論文の概要: BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences

• arxiv url: http://arxiv.org/abs/2607.27366v1
• Date: Wed, 29 Jul 2026 18:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.304731
• Title: BridgeAlign: Bridging Preference Alignment for Humanities and Social Sciences
• Title（参考訳）: BridgeAlign: 人文科学と社会科学のためのブリッジの選好アライメント
• Authors: Ru Peng, Haokai Xu, Xijun Gu, Tianyu Zhao, Zhiting Fan, Yawen Zeng, Yihong Zhuang, Jinyang Zhang, Kexin Yang, Jian Wu, Hao Chen, Junyang Lin, Dayiheng Liu, Junbo Zhao,
• Abstract要約: 我々は、幅広い社会科学分野のための最初の好み調整パイプラインとして、BridgeAlignを提案する。 我々は、BridgeAlignが17のベンチマークで11の強いベースラインに対して最高の平均を達成することができることを示した。
• 参考スコア（独自算出の注目度）: 52.67755020436915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While data synthesis for large language models (LLMs) is prevalent, it primarily targets domains with verifiable answers, overlooking open-ended humanities and social sciences (HSS), where nuanced quality judgments matter more than objective correctness. This makes preference alignment a natural paradigm for broad HSS tasks. Yet existing methods are either costly or not tailored to broad HSS disciplines. We thus propose BridgeAlign, among the first preference-alignment pipelines for broad HSS disciplines, with three phases: i) Seed Curation: curating HSS seed documents from web corpora via heuristic/LLM-based filtering and text refinement; ii) Preference Data Synthesis: generating preference triplets via persona-based instruction inversion with Q&A consistency checks; iii) Preference Optimization: moving beyond naive human-vs-model heuristics by first grounding preferences in HSS quality rubric, then generating transitional responses via controlled quality degradation to form near-boundary preference pairs for finer-grained quality discrimination. Aligning over 210k synthetic preference samples, BridgeAlign enables Qwen3-8B to achieve the best average across 17 benchmarks against 11 strong baselines; importantly, leading on both human-preference and knowledge-based capabilities at once, with no trade-off between them, as supported by extensive experiments and contextualized by existing theories.
• Abstract（参考訳）: 大規模言語モデル(LLMs)のデータ合成は一般的であるが、主に、客観的な正確性以上の品質判断が重要となる、オープンエンドの人文科学と社会科学(HSS)を見渡す、検証可能な答えを持つドメインをターゲットにしている。 これにより、好みのアライメントは広範なHSSタスクの自然なパラダイムとなる。 しかし、既存の手法はコストがかかるか、より広いHSSの規律に適合しないかのいずれかである。 そこで,BridgeAlignを提案する。 一 シードキュレーション ヒューリスティック/LLMに基づくフィルタリング及びテキスト精錬により、ウェブコーパスからHSSシード文書をキュレートすること。 二 選好データ合成:Q&A整合性検査によるペルソナに基づく指示逆転による選好三重項の生成 三 優先最適化:人-vsモデルヒューリスティックスを超えて、まずHSS品質ルーブリックを基礎として、制御品質劣化による過渡応答を生成して、よりきめ細かい品質識別のために、ほぼ有界な選好ペアを形成する。 210k以上の合成選好サンプルに従って、BridgeAlignは、Qwen3-8Bが、11の強いベースラインに対して17のベンチマークで最高の平均を達成することを可能にする。

関連論文リスト

• HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs [49.984192011187275]
  我々は人文科学と社会科学のための最初のデータ合成パイプラインであるHSS-Synthを紹介する。 HSS-Synthは,(1)Webコーパスからのシード文書を,審査員が評価した多段階のフィルタリングとテキストリファインメントによって構築すること,(2)厳格なQ&Aアライメントチェックによって,シード文書を多種多様な忠実な命令に"要求+ペルソナ"を指定すること,(3)教師による回答の限界を突破すること,からなる。
  論文  参考訳（メタデータ） (2026-07-29T18:37:14Z)
• Robust Preference Alignment via Directional Neighborhood Consensus [13.313830197011983]
  本稿では,指向性近傍のコンセンサスを利用したポストホックなトレーニングフリー手法であるRobust Preference Selection(RPS)を紹介する。 RPSは、関連する好みの地域からの複数の応答をサンプリングし、優れた候補プールを作成する。 本研究は, 嗜好整合モデルの信頼性を高めるための, 実用的, 理論的に基礎的なソリューションを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:39:20Z)
• Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy [26.455112415445146]
  我々はSkywork-Reward-V2という,0.6Bから8Bパラメータの8つの報酬モデルスイートを紹介し,SynPref-40Mから600万の選好ペアのサブセットをトレーニングした。 我々は、Skywork-Reward-V2が、人間の嗜好、客観的な正しさ、安全性、スタイリスティックなバイアスへの抵抗、Nのベスト・オブ・スケーリングなど、幅広い能力にまたがる汎用性を実証した。
  論文  参考訳（メタデータ） (2025-07-02T04:40:29Z)
• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Preference Ranking Optimization for Human Alignment [90.6952059194946]
  大規模言語モデル(LLM)は、しばしば誤解を招くコンテンツを含み、それらを人間の価値と整合させる必要性を強調している。 人間のフィードバックからの強化学習(RLHF)が、このアライメントを達成するために採用されている。 我々は、人間のアライメントのための微調整LDMのための効率的なSFTアルゴリズムとして、優先度ランク付け最適化(PRO)を提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。