論文の概要: OMIND: Framework for Knowledge Grounded Finetuning and Multi-Turn Dialogue Benchmark for Mental Health LLMs

• arxiv url: http://arxiv.org/abs/2603.25105v1
• Date: Thu, 26 Mar 2026 07:25:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.151882
• Title: OMIND: Framework for Knowledge Grounded Finetuning and Multi-Turn Dialogue Benchmark for Mental Health LLMs
• Title（参考訳）: OMIND:メンタルヘルスLLMのための知識基盤ファインタニングとマルチトゥルンダイアログベンチマークのためのフレームワーク
• Authors: Suraj Racha, Prashant Harish Joshi, Utkarsh Maurya, Nitin Yadav, Mridul Sharma, Ananya Kunisetty, Saranya Darisipudi, Nirmal Punjabi, Ganesh Ramakrishnan,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクに対して顕著な能力を示してきたが、医療分野、特にメンタルヘルスへの適応は、特定の課題を提起している。 精神保健におけるLLMの主な課題は、高品質の解釈可能データと知識に基づくトレーニングデータの欠如である。 会話を含む多様な機能のためのLLMエージェントのトレーニングと調整を含むoMindフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.051383110441295
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities for complex tasks, yet adaptation in medical domain, specifically mental health, poses specific challenges. Mental health is a rising concern globally with LLMs having large potential to help address the same. We highlight three primary challenges for LLMs in mental health - lack of high quality interpretable and knowledge grounded training data; training paradigms restricted to core capabilities, and evaluation of multi turn dialogue settings. Addressing it, we present oMind framework which includes training and aligning LLM agents for diverse capabilities including conversations; high quality ~164k multi-task SFT dataset, as a result of our generation pipeline based on Structured Knowledge retrieval, LLM based pruning, and review actions. We also introduce oMind-Chat - a novel multi turn benchmark dataset with expert annotated turn level and conversation level rubrics. Our diverse experiments on both core capabilities and conversations shows oMind LLMs consistently outperform baselines. oMind-LLM also shows significantly better reasoning with up to 80% win rate.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なタスクに対して顕著な能力を示してきたが、医療分野、特にメンタルヘルスへの適応は、特定の課題を提起している。 メンタルヘルスは世界中で懸念が高まり、LLMはそれに対応する大きな可能性を秘めている。 メンタルヘルスにおけるLLMの主な課題として,高品質の解釈可能知識の欠如,コア能力に制限されたトレーニングパラダイム,マルチターン対話設定の評価,の3つを挙げる。 そこで本研究では、構造化知識検索、LLMベースのプルーニング、レビューアクションに基づく生成パイプラインの結果、高品質な164kマルチタスクSFTデータセット、会話を含む多様な機能のためのLLMエージェントのトレーニングと調整を含むoMindフレームワークを提案する。 oMind-Chatも紹介します。これは、専門家の注釈付きターンレベルと会話レベルのルーリックを備えた、新しいマルチターンベンチマークデータセットです。 コア機能と会話の両方に関する多種多様な実験は、oMind LLMがベースラインを一貫して上回っていることを示している。 oMind-LLMはまた、最大80%の勝利率で、非常に優れた推論を示している。

関連論文リスト

• Enhancing the Medical Context-Awareness Ability of LLMs via Multifaceted Self-Refinement Learning [49.559151128219725]
  大規模言語モデル(LLM)は医療分野で大きな可能性を示しており、いくつかのベンチマークで高いパフォーマンスを実現している。 しかし、実際の医療シナリオではパフォーマンスが低下し続けており、コンテキスト認識の強化が要求されることが多い。 データ駆動型アプローチであるMultifaceted Self-Refinement (MuSeR)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T08:13:23Z)
• Reasoning Is Not All You Need: Examining LLMs for Multi-Turn Mental Health Conversations [13.064927179032756]
  MedAgentは、現実的で多ターンのメンタルヘルス・センスメイキングの会話を合成的に生成する新しいフレームワークである。 医療環境におけるLLMのマルチターン会話能力を評価するための総合的フレームワークであるMultiSenseEvalを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:42:02Z)
• Is your LLM trapped in a Mental Set? Investigative study on how mental sets affect the reasoning capabilities of LLMs [8.920202114368843]
  本稿では,心的セットがLLMの推論能力に与える影響について検討する。 メンタル・セット(Mental Sets)とは、以前成功していた戦略が非効率になったとしても継続する傾向を指す。 Llama-3.1-8B-インストラクト、Llama-3.1-70B-インストラクト、GPT-4oのようなメンタルセットの存在下でのLLMモデルの性能を比較した。
  論文  参考訳（メタデータ） (2025-01-21T02:29:15Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
  本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。 我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。 我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
  論文  参考訳（メタデータ） (2024-05-29T18:45:55Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health [42.711913023646915]
  大規模言語モデル(LLM)のニュアンス会話能力を評価するための新しい枠組みを提案する。 そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。 GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
  論文  参考訳（メタデータ） (2024-03-08T23:46:37Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。