論文の概要: A Good Plan is Hard to Find: Aligning Models with Preferences is Misaligned with What Helps Users

• arxiv url: http://arxiv.org/abs/2509.18632v1
• Date: Tue, 23 Sep 2025 04:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.702227
• Title: A Good Plan is Hard to Find: Aligning Models with Preferences is Misaligned with What Helps Users
• Title（参考訳）: 良い計画を見つけるのが難しい: 優先順位付きモデルのアライメントは、ユーザを助けるものとは一致しない
• Authors: Nishant Balepur, Matthew Shu, Yoo Yeon Sung, Seraphina Goldfarb-Tarrant, Shi Feng, Fumeng Yang, Rachel Rudinger, Jordan Lee Boyd-Graber,
• Abstract要約: アライメント手法は、LCM計画が役に立つことを保証することを目的としているが、ユーザが何を好むかのトレーニング(RLHF)や評価(Chatbotorama)を行う。 126名のユーザがLLMプランで300のマルチステップ質問に回答するインターフェースであるPlanArenaでこれをテストする。 4388件の計画実行と5584件の比較を行い、計画上の有益性(QAの成功)とユーザの好みを測定する。
• 参考スコア（独自算出の注目度）: 40.48887496481289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To assist users in complex tasks, LLMs generate plans: step-by-step instructions towards a goal. While alignment methods aim to ensure LLM plans are helpful, they train (RLHF) or evaluate (ChatbotArena) on what users prefer, assuming this reflects what helps them. We test this with Planorama: an interface where 126 users answer 300 multi-step questions with LLM plans. We get 4388 plan executions and 5584 comparisons to measure plan helpfulness (QA success) and user preferences on plans, and recreate the setup in agents and reward models to see if they simulate or prefer what helps users. We expose: 1) user/model preferences and agent success do not accurately predict which plans help users, so common alignment feedback can misalign with helpfulness; 2) this gap is not due to user-specific preferences, as users are similarly successful when using plans they prefer/disprefer; 3) surface-level cues like brevity and question similarity strongly link to preferences, but such biases fail to predict helpfulness. In all, we argue aligning helpful LLMs needs feedback from real user interactions, not just preferences of what looks helpful, so we discuss the plan NLP researchers can execute to solve this problem.
• Abstract（参考訳）: 複雑なタスクでユーザを支援するため、LLMは計画を生成する。 アライメントメソッドは、LCMの計画が役に立つことを保証することを目的としているが、ユーザが何を好むかを評価する(RLHF)か、あるいは評価する(ChatbotArena)。 126名のユーザがLLMプランで300のマルチステップ質問に回答するインターフェースであるPlanoramaでこれをテストします。 4388件の計画実行と5584件の比較を行い、計画上の有益性(QAの成功)とユーザ嗜好を計測し、エージェントや報酬モデルで設定を再現して、ユーザが何を好むかをシミュレートし、好むかどうかを確認します。 公開します。 1) ユーザ/モデル選好とエージェントの成功は、どのプランがユーザに役立つかを正確に予測しないため、共通のアライメントフィードバックは、役に立たない。 2) このギャップは,ユーザが好む計画を使用する場合にも同様に成功するため,ユーザ固有の嗜好によるものではない。 3) 簡潔さや質問類似性のような表面レベルの手がかりは嗜好と強く結びついているが、そのようなバイアスは有用性を予測するには至らなかった。 全体として、有効なLCMの整合性には実際のユーザインタラクションからのフィードバックが必要である、と我々は論じており、NLP研究者がこの問題を解決するために実行する計画について議論する。

関連論文リスト

• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [51.9706400130481]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• m&m's: A Benchmark to Evaluate Tool-Use for multi-step multi-modal Tasks [31.031053149807857]
  我々は、33のツールを含む4K以上のマルチステップマルチモーダルタスクを含むベンチマークであるm&m'sを紹介する。 これら各タスククエリに対して、この現実的なツールセットを使用して自動生成されたプランを提供する。 1,565のタスクプランの高品質なサブセットを提供する。
  論文  参考訳（メタデータ） (2024-03-17T04:36:18Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• Iterative Planning with Plan-Space Explanations: A Tool and User Study [5.779503104475269]
  計画空間の説明を含む,ヒューマンガイドによる反復計画のためのツールを実装した。 このツールは標準のWebブラウザで動作し、開発者とユーザの両方にシンプルなユーザーインターフェイスを提供する。 本研究は,反復計画における計画固有依存性説明の有用性を示す最初のユーザスタディである。
  論文  参考訳（メタデータ） (2020-11-19T08:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。