論文の概要: Rushes: A Human Preference Dataset for Pluralistic Alignment
- arxiv url: http://arxiv.org/abs/2607.20767v1
- Date: Wed, 22 Jul 2026 22:32:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.228302
- Title: Rushes: A Human Preference Dataset for Pluralistic Alignment
- Title（参考訳）: Rushes: 複数のアライメントのための人間の選好データセット
- Authors: Michael Xu, Jorge Leandro, Sudha Rao, Weijia Xu, Nebojsa Jojic, Gabriel DesGarennes, Chris Quirk, Bill Dolan,
- Abstract要約: Rushesは、対話的な物語環境における人間のエンゲージメントの嗜好を明らかにするためのデータセットとベンチマークである。
6試合で8,167人のユニークユーザーから44,226の意思決定イベントがある。
ユーザ選択は、一様ベースラインに対して低い選択エントロピーで定量化され、構造化された非ランダムパターンを示す。
- 参考スコア（独自算出の注目度）: 11.198313470367365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Rushes, a dataset and benchmark for studying revealed human engagement preferences in interactive narrative environments. Rushes is collected through a game interface where users interact with AI-generated branching narratives and select one choice from a small, explicit candidate set at each decision point. Each interaction logs the full candidate set, the user's choice, and the evolving narrative context, yielding time-ordered trajectories with persistent user-level identifiers. Rushes contains 44,226 decision events from 8,167 unique users across six games, capturing sequential, personalized engagement behavior rather than static judgments. We show that user choices exhibit structured, non-random patterns, quantified by a low choice entropy relative to a uniform baseline. We position Rushes as a diagnostic benchmark for pluralistic alignment and demonstrate a robust Engagement Gap: state-of-the-art LLMs, including GPT-5, fail to outperform simple baselines. While classical Matrix Factorization (SVD) captures measurable personalized signal (37.7%), frontier LLMs (34.23%) struggle to even match the Popularity Baseline (36.4%) on event-level choice prediction. This gap suggests that single, population-level objectives, like those used in modern RLHF, appear insufficient to capture heterogeneous, context-dependent engagement signals. As a result, even highly capable models default to majority preferences rather than adapting to individual trajectories. We release Rushes to support research into pluralistic alignment and sequential decision-making in generative systems. The full code for the platform and dataset will be available here: https://github.com/microsoft/rushes
- Abstract（参考訳）: 対話型ナラティブ環境における人間のエンゲージメント嗜好を明らかにするためのデータセットとベンチマークであるRushesを紹介した。
Rushesはゲームインターフェースを通じて収集され、AI生成した分岐物語と対話し、各決定ポイントに設定された小さく明示的な候補から1つの選択肢を選択する。
各インタラクションは、完全な候補セット、ユーザの選択、進化する物語のコンテキストをログし、永続的なユーザレベルの識別子を持つ時間順のトラジェクトリを生成する。
Rushesには、6つのゲームにまたがる8,167人のユニークユーザによる44,226の意思決定イベントが含まれており、静的判断ではなく、シーケンシャルでパーソナライズされたエンゲージメントの振る舞いをキャプチャしている。
ユーザ選択は、一様ベースラインに対して低い選択エントロピーで定量化され、構造化された非ランダムパターンを示す。
我々は、Rushsを多元的アライメントの診断ベンチマークとして位置づけ、堅牢なエンゲージメントギャップを示す: GPT-5を含む最先端のLCMは、単純なベースラインを上回りません。
古典的マトリックス因子化(SVD)は、測定可能なパーソナライズされた信号(37.7%)をキャプチャするが、フロンティアのLSM(34.23%)は、イベントレベルの選択予測において、人気ベースライン(36.4%)と一致することに苦労している。
このギャップは、現代のRLHFで使用されるような、人口レベルの単一の目的が、異質で文脈に依存したエンゲージメント信号を捉えるのに不十分であることを示している。
結果として、高い能力を持つモデルでさえ、個々の軌道に適応するのではなく、多数派の好みによってデフォルトとなる。
生成システムにおける多元的アライメントとシーケンシャルな意思決定の研究を支援するために、Rushesをリリースする。
プラットフォームとデータセットの全コードについては、https://github.com/microsoft/rushesを参照してほしい。
関連論文リスト
- Response Time Enhances Alignment with Heterogeneous Preferences [49.69696266152175]
簡易な二次信号で選好データセットを増大させることで、住民の平均選好の識別性を回復できることを示す。
私たちの結果は、将来的なデータ収集パイプラインに約束と新たな機会をもたらします。
論文 参考訳（メタデータ） (2026-05-07T22:05:23Z) - Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。
パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。
我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
論文 参考訳（メタデータ） (2026-02-12T20:41:22Z) - HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - Robust Preference Alignment via Directional Neighborhood Consensus [13.313830197011983]
本稿では,指向性近傍のコンセンサスを利用したポストホックなトレーニングフリー手法であるRobust Preference Selection(RPS)を紹介する。
RPSは、関連する好みの地域からの複数の応答をサンプリングし、優れた候補プールを作成する。
本研究は, 嗜好整合モデルの信頼性を高めるための, 実用的, 理論的に基礎的なソリューションを提案する。
論文 参考訳（メタデータ） (2025-10-23T12:39:20Z) - Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。
静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。
我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文 参考訳（メタデータ） (2025-09-30T18:55:28Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - Subjective Crowd Disagreements for Subjective Data: Uncovering
Meaningful CrowdOpinion with Population-level Learning [8.530934084017966]
emphCrowdOpinionは、言語特徴とラベル分布を用いて、類似した項目をラベル分布のより大きなサンプルにまとめる教師なし学習手法である。
ソーシャルメディアから利用可能な5つのベンチマークデータセット(アノテータの不一致のレベルが異なる)を使用します。
また、Facebookのデータセットを使って、投稿に反応するユーザーによって、プラットフォーム自体からアノテーションが送られてくるような実験も行っています。
論文 参考訳（メタデータ） (2023-07-07T22:09:46Z) - UniCon: Unified Context Network for Robust Active Speaker Detection [111.90529347692723]
我々は、堅牢なアクティブ話者検出(ASD)のための新しい効率的なフレームワークUnified Context Network(UniCon)を導入する。
私たちのソリューションは、複数の種類のコンテキスト情報を共同でモデリングすることに焦点を当てた、新しく統合されたフレームワークです。
異なる設定下で、いくつかの挑戦的なASDベンチマークで徹底的なアブレーション研究が実施されている。
論文 参考訳（メタデータ） (2021-08-05T13:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。