Fugu-MT 論文翻訳(概要): MIS-Bench: Benchmarking Multimodal LLMs for Psychotherapeutic Interpersonal Skills Assessment

論文の概要: MIS-Bench: Benchmarking Multimodal LLMs for Psychotherapeutic Interpersonal Skills Assessment

arxiv url: http://arxiv.org/abs/2609.22778v1
Date: Sat, 19 Sep 2026 05:22:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-22 20:29:00.550672
Title: MIS-Bench: Benchmarking Multimodal LLMs for Psychotherapeutic Interpersonal Skills Assessment
Title（参考訳）: MIS-Bench:精神療法的対人スキル評価のためのマルチモーダルLCMのベンチマーク
Abstract要約: マルチモーダル大規模言語モデル (MLLM) は評価指標としてますます利用されているが、専門家の判断を必要とする専門的評価課題における信頼性はいまだ不明である。ファシリテーティブ・インターパーソナリティ・スキルの8次元にアノテートされた996個のサイコセラピー・レスポンス・ビデオからなるベンチマークMIS-Benchを紹介する。マルチモーダルな9つのMLLMにまたがって、現在のモデルでは、人間の専門家との穏やかな一致、マルチモーダルな入力の不整合、推論に基づくプロンプトによるメリットの制限が示される。 MIS-RAFTは、RAFTにインスパイアされたレグレッション対応の微調整法であり、微粒な対人スキルに適合する。
参考スコア（独自算出の注目度）: 7.381825618719936
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Multimodal large language models (MLLMs) are increasingly used as evaluators, yet their reliability in professional assessment tasks that require expert judgment remains unclear. We investigate this challenge in the context of assessing psychotherapeutic interpersonal skills and introduce MIS-Bench, a Multimodal Interpersonal Skills (MIS) benchmark comprising 996 psychotherapy response videos annotated across 8 dimensions of Facilitative Interpersonal Skills. Across 9 MLLMs with multiple modality and prompting settings, we find that current models show only modest agreement with human experts, inconsistent gains from multimodal input, and limited benefits from reasoning-based prompting. To mitigate this gap, we propose MIS-RAFT, a regression-aware fine-tuning method inspired by RAFT and tailored to fine-grained interpersonal skill scoring at one-decimal precision. MIS-RAFT addresses the mismatch between autoregressive token prediction and scalar-valued expert assessment, significantly improving agreement with human ratings. Overall, MIS-Bench reveals a clear gap between general multimodal capability and expert-level interpersonal judgment, while MIS-RAFT offers a promising path toward more reliable model-based assessment.
Abstract（参考訳）: マルチモーダル大規模言語モデル (MLLM) は評価指標としてますます利用されているが、専門家の判断を必要とする専門的評価課題における信頼性はいまだ不明である。精神療法的対人スキルの評価の文脈において,この課題を考察し,8次元のファシリテーティブ対人スキルにアノテートされた996の心理療法対応ビデオを含むMISベンチマークであるMIS-Benchを紹介する。マルチモーダルな9つのMLLMにまたがって、現在のモデルでは、人間の専門家との穏やかな合意、マルチモーダルな入力の不整合、推論に基づくプロンプトによるメリットの制限が示される。このギャップを緩和するため,MIS-RAFTを提案する。 MIS-RAFTは、自己回帰トークン予測とスカラー評価の専門家評価のミスマッチに対処し、人間の評価との合意を著しく改善した。全体として、MIS-Benchは、汎用マルチモーダル能力と専門家レベルの対人的判断の明確なギャップを明らかにし、MIS-RAFTはより信頼性の高いモデルベースアセスメントへの有望な道を提供する。

関連論文リスト

Co-FactChecker: A Framework for Human-AI Collaborative Claim Verification Using Large Reasoning Models [99.26398772227684]
我々は,人間とAIの協調的クレーム検証のためのフレームワークであるCo-FactCheckerを提案する。 Co-FactCheckerは専門家のフィードバックをトレース編集に変換する。人間の評価は、マルチターン対話よりもCo-FactCheckerの方が好ましいことを示している。
論文参考訳（メタデータ） (2026-04-15T10:35:00Z)
Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation [32.5154721488471]
LLM(Large Language Models)は、従来のベンチマークで高い性能を示す。既存のフレームワークは、狭いドメインカバレッジ、ジェネラリストのタスクへの依存、あるいは自己評価バイアスに悩まされている。 XpertBench(英語版)は、真の専門分野にわたるLSMを評価するために開発された高忠実度ベンチマークである。
論文参考訳（メタデータ） (2026-03-27T11:28:15Z)
An Expert Schema for Evaluating Large Language Model Errors in Scholarly Question-Answering Systems [1.9138416746729587]
大規模言語モデル(LLM)は、探索や要約といった学術的なタスクを変換しているが、その信頼性は未だに不明である。質問応答システムにおけるLCMの誤りを評価するためのスキーマを開発し,実験者の評価戦略を反映した。
論文参考訳（メタデータ） (2026-02-24T16:16:44Z)
CARE-Bench: A Benchmark of Diverse Client Simulations Guided by Expert Principles for Evaluating LLMs in Psychological Counseling [44.86705916946909]
動的かつインタラクティブな自動ベンチマークである textbfCARE-Bench を導入する。現実世界のカウンセリングケースから派生した多様なクライアントプロファイルに基づいて構築され、専門家のガイドラインに従ってシミュレートされる。 CARE-Benchは、確立された心理的尺度に基づく多次元のパフォーマンス評価を提供する。
論文参考訳（メタデータ） (2025-11-12T15:19:44Z)
ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge [94.40918390309186]
大規模言語モデル(LLM)の進捗を評価することは、応答を検証するという課題によって制約されることが多い。 7000以上の応答基準ペアの集合であるProfBenchを紹介する。以上の結果から, ProfBench は最先端の LLM においても大きな課題となることが明らかとなった。
論文参考訳（メタデータ） (2025-10-21T17:59:44Z)
Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文参考訳（メタデータ） (2025-03-05T06:11:24Z)
One for All: A General Framework of LLMs-based Multi-Criteria Decision Making on Human Expert Level [7.755152930120769]
本稿では,一般の複雑なMCDM問題に自動的に対処する評価フレームワークを提案する。フレームワーク内では、ClaudeやChatGPTといった商用モデルと同様に、様々な典型的なオープンソースモデルの性能を評価する。実験の結果,異なるアプリケーションの精度は95%程度に向上し,異なるモデル間の性能差は自明であることがわかった。
論文参考訳（メタデータ） (2025-02-17T06:47:20Z)
LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文参考訳（メタデータ） (2025-01-07T08:49:04Z)
MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
論文参考訳（メタデータ） (2024-10-14T04:15:00Z)
Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
論文参考訳（メタデータ） (2024-08-17T16:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。