論文の概要: FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2607.29602v1
- Date: Fri, 31 Jul 2026 16:33:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.813035
- Title: FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
- Title（参考訳）: FriendBench:人間とマルチモーダル大言語モデルにおけるDyadic Familiarity Inferenceのベンチマーク
- Abstract要約: FriendBenchは、2人がすでに馴染みがあるか、見知らぬ人として会っているかを推測するためのベンチマークである。
すべてのペアは同じタイプのプロンプトに答えるので、インタラクションの方法だけが答えを明らかにすることができます。
96のバランスの取れたダイアドに対して、7社の26のモデルをマッチした人間のパネルと比較した。
- 参考スコア（独自算出の注目度）: 0.697126257791126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reading a social situation often depends on behavior, not words alone. We introduce FriendBench, a benchmark for inferring whether two people are already familiar or are meeting as strangers, from a 20-second clip of a dyadic ice-breaker conversation. Every pair answers the same type of prompt, so only the manner of interaction can reveal the answer. Across text, audio, and video, we compare 26 models from seven companies against matched human panels over 96 balanced dyads. The best model and the human crowd are statistically indistinguishable on accuracy in every modality, but reach it differently: humans stay balanced across the two answers, while the strongest models lean toward "stranger"---a difference in effective prior, not discrimination. Richer channels help both unequally, and only humans gain from visible behavior on top of speech. We release the stimuli, human ratings, and model predictions.
- Abstract（参考訳）: 社会的状況を読むことは、言葉だけでなく、行動に依存することが多い。
我々は、ディヤドアイスブレーカーの会話の20秒間のクリップから、2人が既に馴染みがあるか、見知らぬ人として会ったかを推測するベンチマークであるFriendBenchを紹介した。
すべてのペアは同じタイプのプロンプトに答えるので、インタラクションの方法だけが答えを明らかにすることができます。
テキスト、オーディオ、ビデオの合計で、7社の26のモデルを96のバランスの取れたダイアドにマッチした人間のパネルと比較した。
最高のモデルと人間の群衆は、あらゆるモダリティの正確さで統計的に区別できないが、それに到達するには別の方法がある。
よりリッチなチャンネルはどちらも不平等に役立ち、人間だけが音声の上に見える行動から得ている。
刺激、人間の評価、モデル予測を解放します。
関連論文リスト
- InterSocialBench: Benchmarking Human and LLM Preferences for Companion-Robot Social Behavior [4.142294064933311]
210の国内シナリオと18のハイレベル行動のベンチマークであるInterSocialBenchを紹介する。
構造化された建設パイプラインは、行動の代替、競合する状況の手がかり、関連する履歴と将来のタスクをカバーしている。
ヒトはシナリオ毎に4.68の異なる選択を示しており、モデルでは2.06--3.46である。
論文 参考訳（メタデータ） (2026-09-14T12:21:12Z) - Social Intuition vs. Machine Reasoning: Anticipating Human-Robot Interaction from multiple modalities [27.512271990478737]
本研究では,サービスロボットの視点から対話する人の意図を予測する上で,人間がどのように機能するかを検討する。
テストトラック100トラックの固定パイロットサブセットを用いて,HUI360データセット上でベンチマークを行った。
論文 参考訳（メタデータ） (2026-09-07T12:06:48Z) - HEART: A Unified Benchmark for Assessing Humans and LLMs in Emotional Support Dialogue [29.077783997591037]
HEARTは、人間とLDMを同一のマルチターン感情支援会話で直接比較する最初のフレームワークである。
いくつかのフロンティアモデルは、共感と一貫性の知覚において、平均的な人間の反応に近づいたり、超えたりします。
HEARTは、サポート的対話を、一般的な推論や言語流布とは分離可能な、独立した能力軸として再編成する。
論文 参考訳（メタデータ） (2026-01-09T06:48:08Z) - Learning to Simulate Human Dialogue [35.88351482220924]
次回対話予測:会話が与えられたら、その人が生成した次の発話を予測する。
我々は、モデルが応答する前に考えることができるかどうか、学習の報奨方法の2つの側面に沿って学習アプローチを比較する。
実際の人間対話に基礎を置いた分布マッチングの目標をトレーニングする場合,思考は主として有効であることがわかった。
論文 参考訳（メタデータ） (2026-01-07T22:51:31Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - Pre-trained Speech Processing Models Contain Human-Like Biases that
Propagate to Speech Emotion Recognition [4.4212441764241]
本研究では,多くの音声タスクに使用される1種類のモデルのバイアスを検出する手法であるSpeech Embedding Association Test(SpEAT)を提案する。
SpEATを用いて、16の英語音声モデルにおいて6種類のバイアスをテストした。
私たちの研究は、テキストや画像ベースのモデルのように、事前訓練された音声ベースのモデルは、しばしば人間のようなバイアスを学習する、という証拠を提供します。
論文 参考訳（メタデータ） (2023-10-29T02:27:56Z) - Socratis: Are large multimodal models emotionally aware? [63.912414283486555]
既存の感情予測ベンチマークでは、様々な理由で画像やテキストが人間にもたらす感情の多様性を考慮していない。
社会反応ベンチマークであるソクラティス (Socratis) を提案し, それぞれのイメージ・キャプション(IC) ペアに複数の感情とそれらを感じる理由をアノテートする。
我々は、ICペアが与えられた感情を感じる理由を生成するために、最先端のマルチモーダルな大規模言語モデルの能力をベンチマークする。
論文 参考訳（メタデータ） (2023-08-31T13:59:35Z) - Robots-Dont-Cry: Understanding Falsely Anthropomorphic Utterances in
Dialog Systems [64.10696852552103]
非常に人為的な反応は、ユーザーが人間と対話していると考えることを不快に、あるいは暗黙的に騙すかもしれない。
9つの異なるデータソースからサンプリングした約900の2ターンダイアログの実現可能性に関する人間の評価を収集する。
論文 参考訳（メタデータ） (2022-10-22T12:10:44Z) - Hi, my name is Martha: Using names to measure and mitigate bias in
generative dialogue models [14.624075519580405]
不均衡な性別と人種/民族の参照を含む実際の人間の会話で訓練されることは、学習されたバイアスを表示するモデルにつながる可能性がある。
本研究では,これらの対話モデル,特に名前のスクランブル,制御された生成,および不規則な訓練をチューニングする方法が,会話のバイアスを軽減するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-07T19:20:24Z) - Revealing Persona Biases in Dialogue Systems [64.96908171646808]
対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。
我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。
BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
論文 参考訳（メタデータ） (2021-04-18T05:44:41Z) - Like hiking? You probably enjoy nature: Persona-grounded Dialog with
Commonsense Expansions [37.15893335147598]
既存のペルソナ基底ダイアログモデルは、与えられたペルソナ記述の単純な意味を捉えることができないことが多い。
本稿では,既存のコモンセンス知識ベースと言い換え資源を用いて,利用可能なペルソナ文を拡張することを提案する。
また,モデルにペルソナ文を個別に選択するように促すことにより,ペルソナのきめ細かいグラウンドも導入する。
論文 参考訳（メタデータ） (2020-10-07T06:25:39Z) - Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。
我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。
我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-09-15T10:50:05Z) - I love your chain mail! Making knights smile in a fantasy game world:
Open-domain goal-oriented dialogue agents [69.68400056148336]
我々は、模倣学習したチトチャットモデルに対して強化学習を施した目標指向モデルを訓練する。
両モデルが逆モデルベースラインより優れており,目標を達成するために対話相手と自然に会話できることを示す。
論文 参考訳（メタデータ） (2020-02-07T16:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。