論文の概要: Evaluating Contrastive Feedback for Effective User Simulations

• arxiv url: http://arxiv.org/abs/2505.02560v2
• Date: Tue, 06 May 2025 11:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.975629
• Title: Evaluating Contrastive Feedback for Effective User Simulations
• Title（参考訳）: 効果的なユーザシミュレーションのためのコントラストフィードバックの評価
• Authors: Andreas Konstantin Kruff, Timo Breuer, Philipp Schaer,
• Abstract要約: 本研究は, ユーザシミュレーションのプロンプトエンジニアリング分野において, コントラッシブトレーニング技術の根底にある原則が有効に応用できるかどうかを考察する。 本研究の主な目的は,コンテキスト情報の異なるモーダル性がユーザシミュレーションの有効性に与える影響を分析することである。
• 参考スコア（独自算出の注目度）: 2.8089969618577997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of Large Language Models (LLMs) for simulating user behavior in the domain of Interactive Information Retrieval has recently gained significant popularity. However, their application and capabilities remain highly debated and understudied. This study explores whether the underlying principles of contrastive training techniques, which have been effective for fine-tuning LLMs, can also be applied beneficially in the area of prompt engineering for user simulations. Previous research has shown that LLMs possess comprehensive world knowledge, which can be leveraged to provide accurate estimates of relevant documents. This study attempts to simulate a knowledge state by enhancing the model with additional implicit contextual information gained during the simulation. This approach enables the model to refine the scope of desired documents further. The primary objective of this study is to analyze how different modalities of contextual information influence the effectiveness of user simulations. Various user configurations were tested, where models are provided with summaries of already judged relevant, irrelevant, or both types of documents in a contrastive manner. The focus of this study is the assessment of the impact of the prompting techniques on the simulated user agent performance. We hereby lay the foundations for leveraging LLMs as part of more realistic simulated users.
• Abstract（参考訳）: 近年,対話型情報検索分野におけるユーザ行動のシミュレーションにLarge Language Models (LLMs) が用いられていることが注目されている。 しかし、それらの応用と能力はいまだに非常に議論され、検討されている。 本研究は,LLMの微調整に有効であったコントラッシブトレーニング技術の基本原理が,ユーザシミュレーションのプロンプトエンジニアリング分野にも有効であるかどうかを考察する。 これまでの研究では、LLMは包括的な世界知識を有しており、関連する文書の正確な推定に利用することができることが示されている。 本研究は,シミュレーション中に得られた暗黙的文脈情報を用いてモデルを強化することにより,知識状態をシミュレートする試みである。 このアプローチにより、モデルはさらに望まれるドキュメントの範囲を洗練できる。 本研究の主な目的は,コンテキスト情報の異なるモーダル性がユーザシミュレーションの有効性に与える影響を分析することである。 さまざまなユーザ構成がテストされ、モデルには、すでに判断された関連性、無関係性、あるいは両タイプの文書を対照的にまとめて提供される。 本研究の焦点は,シミュレートされたユーザエージェントのパフォーマンスに及ぼすプロンプト技術の影響を評価することである。 ここでは、より現実的なシミュレートされたユーザの一部として、LSMを活用するための基盤を配置する。

関連論文リスト

• LLM-Powered User Simulator for Recommender System [29.328839982869923]
  LLMを利用したユーザシミュレータを導入し、アイテムとのユーザエンゲージメントを明示的にシミュレートする。 具体的には、ユーザ嗜好の明示的なロジックを特定し、LCMを活用してアイテムの特性を分析し、ユーザ感情を抽出する。 本稿では,ユーザインタラクションシミュレーションの論理的および統計的洞察を相乗化するアンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-22T12:00:04Z)
• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Towards a Formal Characterization of User Simulation Objectives in Conversational Information Access [15.54070473873364]
  ユーザシミュレーションは、会話情報アクセスエージェントを自動訓練し、評価するための有望なアプローチである。 トレーニングは実際のユーザとの行動類似性を最大化することを目的としており、評価は現実世界の会話エージェントのパフォーマンスの正確な予測に焦点を当てている。
  論文  参考訳（メタデータ） (2024-06-27T08:46:41Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• BASES: Large-scale Web Search User Simulation with Large Language Model based Agents [108.97507653131917]
  BASESは、大きな言語モデル(LLM)を持つ新しいユーザーシミュレーションフレームワークである。 シミュレーションフレームワークは,大規模に独自のユーザプロファイルを生成することができ,その結果,多様な検索行動が生まれる。 WARRIORSは、中国語と英語の両方のバージョンを含む、Web検索ユーザ行動を含む、新しい大規模なデータセットである。
  論文  参考訳（メタデータ） (2024-02-27T13:44:09Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• A Case Study on Designing Evaluations of ML Explanations with Simulated User Studies [6.2511886555343805]
  我々は、実世界のユースケースでSimEvalsを初めて実施し、eコマース不正検出においてMLによる意思決定を支援することができるかどうかを評価する。 SimEvalsは、すべての考慮された説明者は同等にパフォーマンスがあり、説明なしではベースラインに勝てないことを示唆している。
  論文  参考訳（メタデータ） (2023-02-15T03:27:55Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。