論文の概要: ProcessPrefBench: Evaluating Cross-Task Transfer of Individual Process Preferences from Naturalistic Human-AI Interaction
- arxiv url: http://arxiv.org/abs/2611.06065v1
- Date: Wed, 04 Nov 2026 07:10:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.007907
- Title: ProcessPrefBench: Evaluating Cross-Task Transfer of Individual Process Preferences from Naturalistic Human-AI Interaction
- Title（参考訳）: ProcessPrefBench: 自然主義的人間-AIインタラクションによるプロセス選好のクロスタスク転送の評価
- Abstract要約: 自然な人間-AI対話では、ユーザの修正、要求、自己記述は、仕事のやりかたに関する再利用可能な信号を運ぶ。
一方の対話文で示された嗜好が、タスクが再開しない場合にアシスタントの後半の回答を形作ることができるかどうかを問う。
ターゲットのみ、フルヒストリー、蒸留された参照プロンプトの3つのモデルをテストする。
- 参考スコア（独自算出の注目度）: 2.5782420501870296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In natural human-AI dialogue, users' corrections, requests, and self-descriptions carry reusable signals about how they want work to be done. These signals reveal individual process preferences, user-specific standards for evidence, depth, analytical focus, procedure, and delivery. We ask whether a preference revealed in one dialogue can shape an assistant's later answer when the task does not restate it. ProcessPrefBench uses three months of natural dialogues from two knowledge workers to build 66 source-target cases separately judged for source evidence and target applicability. Sources are preselected, so the benchmark tests application rather than retrieval. We test three models with target-only, full-history, and distilled-preference prompts. Target-specific 0-2 rubrics score preference realization, and a task gate flags severe failures. Compared with target-only prompting, full-history and imperative distilled-preference prompting raise preference realization by 0.204 and 0.244 points on the 0-2 scale, respectively, with no reliable advantage from distillation. Fabricated-evidence failures rise from 5.8% under target-only prompting to 10.1% under full-history and 10.4% under imperative prompting. ProcessPrefBench highlights a tension in learning from dialogue, where drawing on prior interactions can improve preference realization yet also invite fabricated evidence. We hope it helps build assistants that honor a user's process preferences without sacrificing factual reliability.
- Abstract（参考訳）: 自然な人間-AI対話では、ユーザの修正、要求、自己記述は、仕事のやりかたに関する再利用可能な信号を運ぶ。
これらのシグナルは、個々のプロセスの好み、エビデンス、深さ、分析焦点、手順、配信のためのユーザー固有の標準を明らかにする。
1つの対話で示された嗜好が、タスクが再開しないときにアシスタントの後続の回答を形作ることができるかどうかを問う。
ProcessPrefBenchは、2人のナレッジワーカーによる3ヶ月の自然な対話を使用して、ソースエビデンスとターゲット適用性で別々に判断された66のソースターゲットケースを構築する。
ソースは事前に選択されるので、ベンチマークは検索ではなくアプリケーションをテストする。
ターゲットのみ、フルヒストリー、蒸留された参照プロンプトの3つのモデルをテストする。
ターゲット固有の0-2ルーブリックは好みの実現をスコアし、タスクゲートは深刻な障害をフラグする。
また,0-2スケールで0.204点,0.244点の嗜好実現を促すフルヒストリーとインペラティブ蒸留は,蒸留の信頼性に乏しい。
偽証拠の失敗は、ターゲットのみによる5.8%から、フルヒストリーで10.1%、命令的プロンプトで10.4%へと上昇する。
ProcessPrefBenchは、対話から学ぶ際の緊張を強調している。
実際の信頼性を犠牲にすることなく、ユーザのプロセスの好みを尊重するアシスタントを構築するのに役立つことを願っています。
関連論文リスト
- Identity Is More Than Recall: A Benchmark for Persistent Identity in Deployed AI Agents [3.2278218804727334]
我々はPAI-Benchを紹介した。PAI-Benchは、バージョン管理された更新管理されたID契約に忠実性を示すプロバイダニュートラルなベンチマークである。
リコール、コンポジション、行動規範、抵抗、永続性、系統、ロール条件の更新を分離する。
調査では、ホック後の監査とフォローアップで、条件ごとに単一のターゲットサンプルを使用する。
論文 参考訳（メタデータ） (2026-09-12T01:06:00Z) - Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment [23.066564025282386]
構造化された3段階対話を通してペルソナ関連情報を収集するアダプティブ・インタビュー・フレームワークを提案する。
我々は,大規模言語モデルが道徳ジレンマシナリオにおける参加者の決定をシミュレートできるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-28T06:53:08Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。
PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。
実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
論文 参考訳（メタデータ） (2026-03-24T14:04:11Z) - AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment [54.72137309071243]
AlpsBenchはWildChatからキュレートされた2500の長期的相互作用配列から構成され、人間によって検証された構造化記憶と組み合わせられる。
我々は、パーソナライズされた情報抽出、更新、検索、利用の4つの重要なタスクを定義し、メモリ管理のライフサイクル全体を評価するためのプロトコルを確立する。
i)モデルが潜在ユーザ特性を確実に抽出するのに苦労していること、(ii)メモリ更新が最強モデルでもパフォーマンス天井に直面すること、(iii)大きなイントラクタプールの存在下での検索精度が急激に低下すること、(iv)明示的なメモリ機構がリコールを改善する一方で、リコールは行わないこと、などである。
論文 参考訳（メタデータ） (2026-03-09T11:06:19Z) - Learning Personalized Agents from Human Feedback [36.47803872623135]
連続的なパーソナライズのための枠組みであるPAHF(Personalized Agents from Human Feedback)を紹介する。
PAHFは、ユーザ毎の明示的なメモリを使用して、ライブインタラクションからオンラインで学習する。
ベンチマークは、エージェントが最初の好みをスクラッチから学習し、その後ペルソナシフトに適応する能力を定量化する。
論文 参考訳（メタデータ） (2026-02-18T04:18:47Z) - DETOUR: An Interactive Benchmark for Dual-Agent Search and Reasoning [2.0329381271887255]
本稿では,1011のプロンプトを含むデュアルエージェント評価ベンチマークであるDETOUR(Obscure Under-specified Retrieval)を提案する。
以上の結果から,現在の最先端モデルではベンチマークに苦戦しており,すべてのモダリティで評価した場合の精度は36%に過ぎなかった。
論文 参考訳（メタデータ） (2026-01-30T22:01:30Z) - Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか?
エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。
Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
論文 参考訳（メタデータ） (2025-10-23T17:57:28Z) - Dual Task Framework for Debiasing Persona-grounded Dialogue Dataset [17.403065663306567]
我々は、ペルソナ条件の対話エージェントを改善するために、データ中心のアプローチを導入する。
具体的には,2つのタスクの原始的双対構造を活用することで,対話データセット/エージェントを改善するための関連するペルソナを強化する。
Persona-Chat の実験により,本手法は訓練済みの LM よりも精度が 11.7 ポイント向上していることが示された。
論文 参考訳（メタデータ） (2022-02-11T04:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。