論文の概要: BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces

• arxiv url: http://arxiv.org/abs/2606.02798v1
• Date: Mon, 01 Jun 2026 19:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.557422
• Title: BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces
• Title（参考訳）: BehaviorBench: 行動トレースから現実のユーザ決定をモデル化する
• Authors: Liangwei Yang, Jielin Qiu, Zixiang Chen, Ming Zhu, Juntao Tan, Zhiwei Liu, Wenting Zhao, Zhujun Lan, Akshara Prabhakar, Silvio Savarese, Huan Wang, Shelby Heinecke,
• Abstract要約: textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。 textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。 2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
• 参考スコア（独自算出の注目度）: 53.55407626944686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many decision-support settings require systems that adapt to individual users, but evaluation data for this problem remain limited. Existing benchmarks for user understanding often rely on simulated users or model-generated behavior, even though recent work cautions that model-based simulations can diverge systematically from human behavior. We introduce \textsc{BehaviorBench}, a benchmark for evaluating personalized decision modeling from real-world behavioral traces. \textsc{BehaviorBench} reconstructs wallet-level decision histories from observed public prediction-market and on-chain records, and organizes them into two complementary task layers: \emph{Belief prediction}, which predicts a user's final revealed stance and confidence in a market, and \emph{Trade prediction}, which predicts the direction and amount of individual transactions. Across 2,000 evaluation wallets, the benchmark contains 141,445 Belief instances and 1,485,972 Trade instances, with disjoint support pools for retrieval-based evaluation. We evaluate frontier and open-weight generative models under four history interfaces: no personalization, direct recent history, generated user profiles, and retrieved support-wallet evidence. Personalization improves Belief prediction more consistently than Trade prediction, model rankings change across task layers and metrics, and different history interfaces expose different failure modes. \textsc{BehaviorBench} provides an evaluation setting for studying whether personalized methods can use real-world behavioral evidence rather than simulated users alone.
• Abstract（参考訳）: 多くの意思決定支援設定は個々のユーザーに適応するシステムを必要とするが、この問題に対する評価データはまだ限られている。 ユーザ理解のための既存のベンチマークは、シミュレーションされたユーザやモデル生成された振る舞いに依存していることが多い。 実世界の行動トレースからパーソナライズされた意思決定モデルを評価するベンチマークである「textsc{BehaviorBench}」を紹介する。 \textsc{BehaviorBench}は、公開市場およびオンチェーンレコードからウォレットレベルの決定履歴を再構築し、それを2つの補完的なタスク層に編成する。 2,000以上の評価ウォレットに対して、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれており、検索ベースの評価のための不整合サポートプールがある。 我々は,4つの履歴インタフェースに基づくフロンティアとオープンウェイト生成モデルの評価を行った。 パーソナライゼーションは、貿易予測よりも一貫して、モデルランキングがタスク層やメトリクスにまたがって変化し、異なる履歴インターフェースが異なる障害モードを公開する。 \textsc{BehaviorBench} は、パーソナライズされたメソッドがユーザー単独ではなく現実世界の行動証拠を利用できるかどうかを評価するための評価設定を提供する。

関連論文リスト

• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling [66.55381105691818]
  P-GenRM(Personalized Generative Reward Model)を提案する。 P-GenRMは、選好信号を適応的なペルソナとスコアリングルーリックを導出する構造化評価チェーンに変換する。 さらにユーザをユーザプロトタイプにクラスタリングし、二重粒度スケーリングメカニズムを導入している。
  論文  参考訳（メタデータ） (2026-02-12T16:07:22Z)
• Addressing Personalized Bias for Unbiased Learning to Rank [56.663619153713434]
  Unbiased Learning to rank (ULTR)は、バイアスのあるユーザの行動ログからバイアスのないランキングモデルを学ぶことを目的としている。 そこで本研究では,学習からランクへの目標値を求めるために,新しいユーザ認識逆確率スコア推定器を提案する。
  論文  参考訳（メタデータ） (2025-08-28T14:01:31Z)
• New User Event Prediction Through the Lens of Causal Inference [20.676353189313737]
  限られた履歴を持つ新規ユーザを対象とした新しい離散イベント予測フレームワークを提案する。 我々は、ユーザイベント履歴を、将来のイベントに対する"処理"として扱い、ユーザカテゴリを、重要な共同創設者として扱います。 本稿では,数値シミュレーションと実世界の2つの応用を用いて,提案フレームワークの性能向上を実証する。
  論文  参考訳（メタデータ） (2024-07-08T05:35:54Z)
• USE: Dynamic User Modeling with Stateful Sequence Models [26.74966828348815]
  User Stateful Embedding (USE)は、徹底的な再処理を必要とせずに、ユーザ埋め込みを生成する。 我々は,次世代の予測の限界を超越するために,将来のW行動予測という新たな訓練目標を導入する。 静的(固定されたユーザ行動シーケンス)および動的(定期的に更新されたユーザ行動シーケンス)設定の両方で、Snapchatユーザーの行動ログを使用して、8つの下流タスクで実験を行う。
  論文  参考訳（メタデータ） (2024-03-20T07:05:19Z)
• Conformal Prediction in Multi-User Settings: An Evaluation [0.10231119246773925]
  マシンラーニングモデルは、ユーザを区別することなく、トレーニングされ、評価される。 これにより、マルチユーザ設定で不正確なパフォーマンス指標が生成される。 本研究では,複数のマルチユーザ設定における共形予測フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T17:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。