論文の概要: CHARM: Character Hallucination for Multicultural Role Play Benchmark
- arxiv url: http://arxiv.org/abs/2609.01352v1
- Date: Tue, 01 Sep 2026 14:57:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.78422
- Title: CHARM: Character Hallucination for Multicultural Role Play Benchmark
- Title（参考訳）: CHARM:多文化ロールプレイベンチマークのための文字幻覚
- Authors: Sunkyung Han, Nahyeon Park, Gaeun Seo, Seunghyun Yoon, JinYeong Bak,
- Abstract要約: 実写と架空の40文字のベンチマークであるCHARMを紹介する。
時間的(歴史的対現代的)とクロスユニバース(人物の物語や歴史的宇宙の外側の領域)という2つの境界タイプを、禁忌対応の多重選択質問を用いて探索する。
幻覚は、主にコンプライアンスの失敗によって引き起こされることを示す。
- 参考スコア（独自算出の注目度）: 10.7522550144773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Role-playing large language models (LLMs) are expected to adopt a character's style while also respecting that character's knowledge boundaries. Prior evaluations detect character hallucination but rarely distinguish whether errors arise from failure to recognize a boundary or from failure to comply despite recognition. We introduce CHARM, a multicultural benchmark of 40 real and fictional characters drawn from five cultural-linguistic regions, and validated by native reviewers. It probes two boundary types, Temporal (historical vs. modern) and Cross-Universe (entities outside a character's narrative or historical universe), using abstention-enabled multiple-choice questions. We propose a two-stage evaluation that separates Boundary-Awareness (explicit recognition that a query is out of scope) from Boundary-Compliance (abstention when answering concrete questions). Evaluations across six LLMs show that hallucination is driven predominantly by compliance failures. Models frequently acknowledge that a query lies outside the character's knowledge yet still provide factual, out-of-character answers. By re-posing the same questions to the target character, we confirm that a large fraction of these cases are verified parametric overrides; the model stores the relevant fact but fails to suppress it. We also observe systematic cultural variation in these failures, consistent with imbalances in how characters from different regions are represented in model knowledge.
- Abstract（参考訳）: ロールプレイング大言語モデル(LLM)は、その文字の知識境界を尊重しながら、文字のスタイルを採用することが期待されている。
従来の評価では、文字の幻覚は検出されるが、境界が認識できないことや、認識に従わないことがエラーの原因であるかどうかを区別することは滅多にない。
我々は5つの文化言語学領域から抽出された40の実・架空の文字の多文化ベンチマークであるCHARMを紹介し、ネイティブレビュアーによる検証を行った。
時間的(歴史的対現代的)とクロスユニバース(人物の物語や歴史的宇宙の外側の領域)という2つの境界タイプを、禁忌対応の多重選択質問を用いて探索する。
本稿では,境界認識(クエリがスコープ外であることの明示的認識)と境界コンプライアンス(具体的な質問に答える際に留意すること)を分離する2段階評価を提案する。
6つのLCMの評価は、幻覚はコンプライアンスの失敗によって主に駆動されることを示している。
モデルは、クエリがキャラクタの知識の外側にあるとよく認識するが、実際には文字外回答を提供する。
対象のキャラクタに同じ質問を再提示することにより、これらのケースの大部分がパラメトリックオーバーライドを検証することを確認し、関連する事実を記憶するが、それを抑えることができない。
また、これらの失敗における系統的な文化的変化を観察し、異なる領域の文字がモデル知識でどのように表現されるかの不均衡と整合する。
関連論文リスト
- PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation [118.49150310327475]
PersonaShotは、マルチショットビデオ生成における物語の連続性に関する最初の人中心のベンチマークである。
約1,000のマルチショットセグメントと16のメトリクスがあり、物理的連続性、感情力学、映画文法にまたがっている。
論文 参考訳（メタデータ） (2026-08-17T15:34:54Z) - Staying In Character: Perspective-Bounded Memory For Book-Based Role-Playing Agents [5.808135444478086]
本論文では,書籍ベースの文字エージェントのための3層メモリアーキテクチャであるREVERIEMEMを提案する。
エピソード層は、第一人物のシーン記憶を記憶し、セマンティック層は、可視的タグ付けされた事実を記憶し、パーソナリティ層は、状況に依存した音声および行動パターンを記憶する。
評価のために,知識境界をテストする8つのノベルに対して,KBF-QA,4,386のクエクションベンチマークを構築した。
論文 参考訳（メタデータ） (2026-06-24T09:37:49Z) - Think Before you Write: QA-Guided Reasoning for Character Descriptions in Books [52.08691427871138]
我々は、推論を世代から切り離す訓練フレームワークを提案する。
提案手法は,構造化QA推論トレースを生成する推論モデルと,このトレースに基づいて最終文字記述を生成する生成モデルとから構成される。
論文 参考訳（メタデータ） (2026-04-13T13:19:56Z) - The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。
6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。
情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
論文 参考訳（メタデータ） (2026-02-08T14:45:23Z) - Breaking the Assistant Mold: Modeling Behavioral Variation in LLM Based Procedural Character Generation [62.54606886226136]
手続き的コンテンツ生成は、レベル、マップ、クエストを通じて巨大な仮想世界を可能にするが、大規模なキャラクター生成は未調査のままである。
既存の手法では2つのアライメント誘起バイアスを同定する。
我々は、行動構築から世界構築を遠ざけるフレームワークであるPersonaWeaverを紹介した。
論文 参考訳（メタデータ） (2026-01-06T20:18:01Z) - Beyond One World: Benchmarking Super Heros in Role-Playing Across Multiversal Contexts [2.2816872489992135]
Beyond One Worldは、30の象徴的ヒーローと90のキヤノン固有のバージョンにまたがるキャラクターグラウンドのロールプレイのベンチマークである。
正準精度と推論忠実度に応答する。
理由と行動の一致を定量化する尺度であるThink-Act Matchingを提案する。
論文 参考訳（メタデータ） (2025-10-16T06:39:27Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳（メタデータ） (2025-07-17T18:56:41Z) - CharacterBench: Benchmarking Character Customization of Large Language Models [80.29164862682063]
我々は,最大2言語生成ベンチマークである characterBench を提案し,3,956 文字を含む22,859 人の注釈付きサンプルを作成した。
我々は,各応答に現れる特定の次元によって評価される特徴量に基づいて,スパース次元と密度次元に分類される6つの側面の11次元を定義する。
また,コスト効率と安定した評価のためのキャラクタジャッジモデルも開発している。
論文 参考訳（メタデータ） (2024-12-16T15:55:34Z) - Mitigating Hallucination in Fictional Character Role-Play [19.705708068900076]
我々は、架空のキャラクターロールプレイにおける幻覚の評価と緩和に焦点を当てる。
2,000人以上のキャラクタと72,000人のインタビューを含むデータセットを導入し、18,000人の敵の質問を行った。
パラメトリック知識の影響を調節して幻覚を緩和するロールプレイング手法であるRoleFactを提案する。
論文 参考訳（メタデータ） (2024-06-25T03:56:33Z) - TimeChara: Evaluating Point-in-Time Character Hallucination of Role-Playing Large Language Models [55.51648393234699]
我々は,ロールプレイング LLM におけるポイントインタイムキャラクタ幻覚を評価するための新しいベンチマーク TimeChara を紹介する。
そこで本研究では,物語専門家を駆使したナラティブ・エクササイズ(Narrative-Experts)を提案する。
論文 参考訳（メタデータ） (2024-05-28T10:19:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。