論文の概要: On LLM Wizards: Identifying Large Language Models' Behaviors for Wizard of Oz Experiments

• arxiv url: http://arxiv.org/abs/2407.08067v1
• Date: Wed, 10 Jul 2024 22:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 21:19:34.328308
• Title: On LLM Wizards: Identifying Large Language Models' Behaviors for Wizard of Oz Experiments
• Title（参考訳）: LLMウィザードについて:Oz実験のウィザードに対する大規模言語モデルの振る舞いを同定する
• Authors: Jingchao Fang, Nikos Arechiga, Keiichi Namaoshi, Nayeli Bravo, Candice Hogan, David A. Shamma,
• Abstract要約: ウィザード・オブ・オズの手法(WoZ)は、人間のウィザードロールプレイが手軽に利用できない技術である、広く採用されている研究手法である。 現代の大規模言語モデル(LLM)のロールプレイ能力の増大により、WoZ実験のWizardsとしてLLMを適用でき、スケーラビリティと低コストが向上した。
• 参考スコア（独自算出の注目度）: 5.236638959178155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Wizard of Oz (WoZ) method is a widely adopted research approach where a human Wizard ``role-plays'' a not readily available technology and interacts with participants to elicit user behaviors and probe the design space. With the growing ability for modern large language models (LLMs) to role-play, one can apply LLMs as Wizards in WoZ experiments with better scalability and lower cost than the traditional approach. However, methodological guidance on responsibly applying LLMs in WoZ experiments and a systematic evaluation of LLMs' role-playing ability are lacking. Through two LLM-powered WoZ studies, we take the first step towards identifying an experiment lifecycle for researchers to safely integrate LLMs into WoZ experiments and interpret data generated from settings that involve Wizards role-played by LLMs. We also contribute a heuristic-based evaluation framework that allows the estimation of LLMs' role-playing ability in WoZ experiments and reveals LLMs' behavior patterns at scale.
• Abstract（参考訳）: ウィザード・オブ・オズの方法(WoZ)は、人間のウィザード ``role-plays' が手軽に利用できない技術であり、参加者と対話してユーザの行動を導き、デザイン空間を探索する、広く採用されている研究手法である。 現代の大規模言語モデル(LLM)のロールプレイ能力の増大により、従来のアプローチよりもスケーラビリティとコストの低いWoZ実験において、LLMをウィザーズとして適用することができる。 しかし、WoZ実験におけるLLMの適応性に関する方法論的ガイダンスや、LLMのロールプレイング能力の体系的評価が欠如している。 2つのLLMを用いたWoZ研究を通じて、研究者がLLMをWoZ実験に安全に統合し、WoZのロールプレイングを含む設定から生成されたデータを解釈するための実験ライフサイクルを特定するための第一歩を踏み出した。 我々はまた、WoZ実験におけるLLMのロールプレイング能力の推定を可能にするヒューリスティックな評価フレームワークを提供し、LLMの大規模動作パターンを明らかにする。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• The Alternative Annotator Test for LLM-as-a-Judge: How to Statistically Justify Replacing Human Annotators with LLMs [21.97227334180969]
  LLM-as-a-judge"パラダイムでは、人間が伝統的に行ってきたタスクにおいて、アノテータや評価役としてLarge Language Modelsを採用している。 研究結果や洞察を形成する上での役割にもかかわらず、LLMがヒトのアノテーターを置き換えることができるかどうかを判断するための標準的あるいは厳格な手順は存在しない。 LLMアノテーションの使用を正当化するためには、アノテーション付き例の控えめなサブセットだけを必要とする新しい統計手順である代替アノテーションテスト(alt-test)を提案する。
  論文  参考訳（メタデータ） (2025-01-19T07:09:11Z)
• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• A Survey of Useful LLM Evaluation [20.048914787813263]
  2段階フレームワーク:コア能力からエージェントへ」 コア能力」の段階では, LLMの推論能力, 社会的影響, ドメイン知識について議論した。 エージェントの段階では, LLMエージェントアプリケーションの動作, 計画, ツール学習の具体化を実演した。
  論文  参考訳（メタデータ） (2024-06-03T02:20:03Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs [72.49064988035126]
  マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。 具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。 実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
  論文  参考訳（メタデータ） (2023-11-27T12:29:20Z)
• LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
  LgTS (LLM-Guided Teacher-Student Learning) を提案する。 提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
  論文  参考訳（メタデータ） (2023-10-14T00:07:03Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。