論文の概要: RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.09569v1
• Date: Wed, 07 Oct 2026 07:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.771221
• Title: RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models
• Title（参考訳）: RELATE:大規模言語モデルのリレーショナルオリエンテーション測定のための評価フレームワーク
• Abstract要約: 大規模言語モデル(LLM)は感情的なサポートにますます使われており、持続的な使用がユーザを現実世界の関係から遠ざけてしまうのではないかという懸念が高まっている。 Inward- facing (IF)言語とoutward-scaffolding (OS)言語という2つの非排他的次元を通して操作される特性であるリレーショナルオリエンテーションを導入する。 マルチターン対話における文レベルでの内向きおよび外向きのスキャフォールディング言語を測定するためのペルソナ条件付きフレームワークであるRELATEを提案する。
• 参考スコア（独自算出の注目度）: 6.902416137310993
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used for emotional support, raising concern that sustained use may draw users away from their real-world relationships. Yet existing evaluations primarily focus on the safety, empathy, or helpfulness of responses, leaving under-examined a relational question: where does the model orient the user for continued support? To address this question, we introduce relational orientation, a property operationalized through two non-exclusive dimensions: inward-facing (IF) language, which positions the AI as the user's ongoing source of support, and outward-scaffolding (OS) language, which encourages real-world human connection. Grounded in psychological and sociological literature, we formalize a taxonomy of relational orientation and present RELATE, a persona-conditioned framework for measuring inward-facing and outward-scaffolding language at the sentence level in multi-turn dialogues. RELATE pairs 76 help-seeking situations adapted from naturally occurring questions with three simulated user styles, providing 228 evaluation stimuli. In our experiments, we evaluate seven LLMs using dialogues with six assistant turns each, yielding 1,596 dialogues and 69,194 assistant sentences. We assess these sentences using a primary rubric-based LLM judge and apply a secondary judge to a subset. Under automated evaluation, we find that the proportion of sentences labeled as IF is higher at the sixth assistant turn than at the first, while the proportion labeled as OS is substantially lower for hesitant, indirect simulated users than for explicit, reassurance-seeking users. RELATE provides a reproducible framework and a sentence-level signal for auditing and steering the relational orientation of supportive LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は感情的なサポートにますます使われており、持続的な使用がユーザを現実世界の関係から遠ざけてしまうのではないかという懸念が高まっている。 しかし、既存の評価は、主に、ユーザーの安全、共感、または役に立つことに重点を置いており、リレーショナルな疑問を過小評価している。 この問題に対処するために、AIをユーザの継続的なサポート源として位置づける内向き(IF)言語と、現実世界の人間とのつながりを促進する外向き(OS)言語という、2つの非排他的な側面を通じて運用される特性であるリレーショナルオリエンテーションを導入する。 心理学的・社会学的な文献を基盤として,関係性指向の分類を定式化し,多ターン対話における文レベルでの内向き・外向きの言語計測のためのペルソナ条件付きフレームワーク RELATE を提示する。 RELATEペア76のヘルプ検索状況は、自然発生の質問から3つのユーザスタイルで適応し、228の評価刺激を与える。 実験では、7つのLLMを6つのアシスタント・ターンの対話を用いて評価し、1,596の対話と69,194のアシスタント・文を得た。 我々は,これらの文を一次ルーリックに基づくLLM判定器を用いて評価し,副判断器をサブセットに適用する。 自動評価では、IFとラベル付けされた文の比率が第6のアシスタントターンでは第1のアシスタントターンよりも高く、OSとラベル付けされた文の比率は、明示的で安心感に富むユーザよりも、非常に低い。 RELATEは、再現可能なフレームワークと、補助LDMのリレーショナルオリエンスを監査し、制御するための文レベル信号を提供する。

関連論文リスト

• Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research [0.14353812560047188]
  本研究では,ユーザプロファイル信号が大規模言語モデルでどのように形成されるかを研究するための,ユーザ中心のフレームワークを提案する。 我々は,複数のタスク領域にまたがるジェンダーや社会経済的地位の信号と交差するケーススタディを通じて,この枠組みを実証する。
  論文  参考訳（メタデータ） (2026-06-10T15:48:40Z)
• Auditing Support Strategies in LLMs through Grounded Multi-Turn Social Simulation [2.102846336724103]
  5つのRedditコミュニティからの支持を求める物語は、順序づけられた断片に分解される。 サポート構成は、推定された苦痛とともに体系的にシフトする。 コミュニティコンテキストは、人口統計カテゴリーではなく、行動、トピック、談話規範を形作る。
  論文  参考訳（メタデータ） (2026-04-18T17:36:15Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• Persistent Personas? Role-Playing, Instruction Following, and Safety in Extended Interactions [11.415343473837583]
  パーソナ指定の大規模言語モデル(LLM)は、教育、医療、社会デマグラフィーシミュレーションなどの領域で使用されている。 本研究では,長期の対話と評価データセットを組み合わせた評価プロトコルを導入し,対話条件付きベンチマークを作成する。 対話の過程でペルソナの忠実度は低下し,特に目標志向の会話では低下することがわかった。
  論文  参考訳（メタデータ） (2025-12-14T17:27:02Z)
• First Ask Then Answer: A Framework Design for AI Dialogue Based on Supplementary Questioning with Large Language Models [0.0]
  First Ask Then Answer (FATA) は応答生成に先立ってユーザに対して多次元補足質問を生成する。 既存の明確化アプローチとは対照的に、FATAは完全性とユーザ参加を重視している。 実験の結果,FATAはB-Promptを約40%上回った。
  論文  参考訳（メタデータ） (2025-08-08T13:39:47Z)
• A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
  PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。 我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
  論文  参考訳（メタデータ） (2025-05-20T09:13:22Z)
• Human Preferences for Constructive Interactions in Language Model Alignment [0.0]
  構築的相互作用に関連する言語的属性が、AIの訓練に使用される人間の嗜好データにどのように反映されるかを検討した。 その結果,利用者は個人のストーリーテリングにおける高い評価を拒絶しながら,不適切な回答を常に好んでいることがわかった。
  論文  参考訳（メタデータ） (2025-03-05T15:08:41Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。