論文の概要: From General to Specific: Utilizing General Hallucation to Automatically Measure the Role Relationship Fidelity for Specific Role-Play Agents

• arxiv url: http://arxiv.org/abs/2411.07965v1
• Date: Tue, 12 Nov 2024 17:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:14.534338
• Title: From General to Specific: Utilizing General Hallucation to Automatically Measure the Role Relationship Fidelity for Specific Role-Play Agents
• Title（参考訳）: 一般から特定へ: ロールプレイエージェントにおける役割関係の忠実度を自動測定するための一般教育の利用
• Authors: Chuyi Kong, Ziyang Luo, Hongzhan Lin, Zhiyuan Fan, Yaxin Fan, Yuxi Sun, Jing Ma,
• Abstract要約: ロールプレイングエージェント(RPAs)の開発のための,自動,スケーラブル,一般化可能なパラダイムを提案する。 我々は、一般知識グラフから関係を抽出し、RPA固有の幻覚特性を活用して、役割間の相互作用を促すベンチマークを構築した。 本研究は,これらの指標に影響を及ぼす要因について検討し,関係幻覚と事実とのトレードオフについて考察した。
• 参考スコア（独自算出の注目度）: 12.990119925990477
• License:
• Abstract: The advanced role-playing capabilities of Large Language Models (LLMs) have paved the way for developing Role-Playing Agents (RPAs). However, existing benchmarks, such as HPD, which incorporates manually scored character relationships into the context for LLMs to sort coherence, and SocialBench, which uses specific profiles generated by LLMs in the context of multiple-choice tasks to assess character preferences, face limitations like poor generalizability, implicit and inaccurate judgments, and excessive context length. To address the above issues, we propose an automatic, scalable, and generalizable paradigm. Specifically, we construct a benchmark by extracting relations from a general knowledge graph and leverage RPA's inherent hallucination properties to prompt it to interact across roles, employing ChatGPT for stance detection and defining relationship hallucination along with three related metrics. Extensive experiments validate the effectiveness and stability of our metrics. Our findings further explore factors influencing these metrics and discuss the trade-off between relationship hallucination and factuality.
• Abstract（参考訳）: LLM(Large Language Models)の高度なロールプレイング能力は、ロールプレイングエージェント(RPAs)の開発の道を開いた。 しかし、手動で獲得した文字関係をLLMのコンテキストに組み込んでコヒーレンスをソートするHPDや、複数選択タスクのコンテキストでLLMが生成する特定のプロファイルを使用するSocialBenchといった既存のベンチマーク、一般化性の低さ、暗黙的かつ不正確な判断、過度なコンテキスト長などの制限がある。 上記の問題に対処するため,我々は,自動的,スケーラブルで一般化可能なパラダイムを提案する。 具体的には、一般知識グラフから関係を抽出し、RPA固有の幻覚特性を活用して、役割間の相互作用を促すベンチマークを構築し、ChatGPTを用いて3つの関連する指標とともに関係幻覚を検出する。 大規模な実験は、我々のメトリクスの有効性と安定性を検証する。 さらに,これらの指標に影響を与える要因について検討し,関係幻覚と事実とのトレードオフについて考察した。

関連論文リスト

• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
  ユーティリティとトピック関連性は、情報検索において重要な手段である。 本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
  論文  参考訳（メタデータ） (2024-06-17T07:52:42Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Discovery of the Hidden World with Large Language Models [95.58823685009727]
  本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-06T12:18:54Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Robust Stance Detection: Understanding Public Perceptions in Social Media [15.460495567765362]
  スタンス検出は、明確に定義されたトピックに対する正確な位置を特定する。 従来のスタンス検出モデルは、新しいドメインやトピックに適用すると、パフォーマンスが低下することが多い。 本稿では,反実データ拡張と対照的な学習を組み合わせることで,姿勢検出の堅牢性を高める方法を提案する。
  論文  参考訳（メタデータ） (2023-09-26T18:19:51Z)
• Better Zero-Shot Reasoning with Role-Play Prompting [10.90357246745529]
  ロールプレイプロンプトは、ほとんどのデータセットで標準のゼロショットアプローチを一貫して上回っている。 これは、大きな言語モデルの推論能力を増強する可能性を強調している。
  論文  参考訳（メタデータ） (2023-08-15T11:08:30Z)
• Harnessing Perceptual Adversarial Patches for Crowd Counting [92.79051296850405]
  群衆のカウントは、物理的な世界の敵の例に弱い。 本稿では,モデル間での知覚的特徴の共有を学習するためのPAP(Perceptual Adrial Patch)生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-16T13:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。