論文の概要: PsycheMME: A Psychology-Informed Benchmark for Social Understanding and Interaction in Videos
- arxiv url: http://arxiv.org/abs/2610.28625v1
- Date: Tue, 20 Oct 2026 17:59:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.980067
- Title: PsycheMME: A Psychology-Informed Benchmark for Social Understanding and Interaction in Videos
- Title(参考訳): PsycheMME:ビデオにおける社会的理解と相互作用のための心理学インフォームドベンチマーク
- Abstract要約: PsycheMME(サイケメメメ)は、心理学によって知らされるビデオベンチマークであり、基礎、状態、ニーズ、相互作用の決定、記憶、リスクにまたがる8つの能力を持つ。
我々は630エピソードから1,000の質問を独立した回答で作成する。
我々のReasoning-Verifiedプロトコルは、注釈付きキューに対する明示的な論理的論理的論理的一貫性の支持と論理的整合によって、信用に答える。
- 参考スコア(独自算出の注目度): 36.4466358428953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding human needs and selecting responses require distinct judgments that aggregate accuracy can obscure. We introduce PsycheMME, a video benchmark informed by psychology, with eight capabilities spanning grounding, states, needs, interaction decisions, memory, and risk. Drawing on Social Information Processing and the Perception-Action Cycle, this organization separates human understanding from response selection. We construct 1,000 questions from 630 episodes through independent answering with proposed references withheld and expert review. Our Reasoning-Verified protocol weights answer credit by the support and logical consistency of explicit rationales against annotated cues. Across 17 models, Timing has the lowest Verified scores and credit retention, with weaker support judgments for correct Timing answers. Models with similar Need scores still differ in answer completeness on open questions. Input controls and SFT/GRPO examine context dependence and adaptation. Evaluating answers alongside rationales locates where models fail across understanding, response selection, and justification.
- Abstract(参考訳): 人間の要求を理解し、反応を選択するには、精度を集計する別の判断が必要である。
心理学的な情報を得たビデオベンチマークである PsycheMME を導入し,基礎,状態,ニーズ,インタラクション決定,記憶,リスクにまたがる8つの機能について紹介する。
この組織は、社会的情報処理と知覚・行動サイクルに基づいて、人間の理解と反応の選択を分離する。
我々は630エピソードから1,000の質問を独立した回答で作成する。
我々のReasoning-Verifiedプロトコルは、注釈付きキューに対する明示的な論理的論理的論理的一貫性の支持と論理的整合によって、信用に答える。
17モデル全体では、Timingは検証スコアと信用保持率が最も低く、Timingの回答を正すためのサポート判断が弱い。
類似した要求スコアを持つモデルは、オープンな質問に対する回答完全性に相変わらず異なる。
入力制御とSFT/GRPOは文脈依存と適応を検査する。
合理性に沿った回答を評価することは、モデルが理解、応答の選択、正当化に失敗する場所を特定する。
関連論文リスト
- Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment [23.066564025282386]
構造化された3段階対話を通してペルソナ関連情報を収集するアダプティブ・インタビュー・フレームワークを提案する。
我々は,大規模言語モデルが道徳ジレンマシナリオにおける参加者の決定をシミュレートできるかどうかを評価する。
論文 参考訳(メタデータ) (2026-05-28T06:53:08Z) - AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence [1.7294100412670375]
感情知性(EI)は人間のコミュニケーションの中心であり、評価することがますます重要になっている。
AttuneBenchは200個の真のマルチターンヒューマンモデル会話をベースとしたベンチマークである。
感情認識,行動分類,嗜好予測,判断された応答品質のモデルランキングは,ほぼ独立していることがわかった。
論文 参考訳(メタデータ) (2026-05-20T21:06:05Z) - Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。
本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。
PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
論文 参考訳(メタデータ) (2025-09-23T14:44:46Z) - QAGCF: Graph Collaborative Filtering for Q&A Recommendation [58.21387109664593]
質問と回答(Q&A)プラットフォームは通常、ユーザの知識獲得のニーズを満たすために質問と回答のペアを推奨する。
これにより、ユーザの振る舞いがより複雑になり、Q&Aレコメンデーションの2つの課題が提示される。
グラフニューラルネットワークモデルであるQ&Answer Graph Collaborative Filtering (QAGCF)を導入する。
論文 参考訳(メタデータ) (2024-06-07T10:52:37Z) - Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。
具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。
2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
論文 参考訳(メタデータ) (2021-04-18T06:17:54Z) - A Wrong Answer or a Wrong Question? An Intricate Relationship between
Question Reformulation and Answer Selection in Conversational Question
Answering [15.355557454305776]
会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。
TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
論文 参考訳(メタデータ) (2020-10-13T06:29:51Z) - Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。
我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
論文 参考訳(メタデータ) (2020-04-30T18:08:22Z) - Asking and Answering Questions to Evaluate the Factual Consistency of
Summaries [80.65186293015135]
本稿では,QAGS (kags) と呼ばれる自動評価プロトコルを提案する。
QAGSは、要約とそのソースについて質問すると、要約が実際にソースと一致している場合、同様の回答が得られます。
QAGSは、使いやすく、現実的に一貫性のあるテキストを自動的に生成するための有望なツールであると考えています。
論文 参考訳(メタデータ) (2020-04-08T20:01:09Z) - Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。
このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。
コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
論文 参考訳(メタデータ) (2020-03-13T11:34:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。