論文の概要: LLM-Based Schema-Aware Split Learning for Privacy-Preserving Mental Distress Prediction Across Heterogeneous Surveys

• arxiv url: http://arxiv.org/abs/2609.15871v1
• Date: Mon, 14 Sep 2026 16:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.522133
• Title: LLM-Based Schema-Aware Split Learning for Privacy-Preserving Mental Distress Prediction Across Heterogeneous Surveys
• Title（参考訳）: プライバシ保護型メンタルディストレス予測のためのLLMに基づくスキーマ・アウェア・スプリット学習
• Abstract要約: メンタルヘルスサーベイデータは、効果的な一般化可能な予測モデルをもたらす可能性がある。 プライバシーの制約と様々なサーベイデザイン(すなわち、異なる質問、スケール、フォーマット)は直接統合を妨げる。 共有セマンティックエンコーダとして大規模言語モデル(LLM)を用いて,プライバシを保護するスキーマ対応分割学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.30938904602244355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rising societal and lifestyle complexity has been linked to a growing prevalence of mental distress worldwide. Educational institutions, workplaces, clinics, etc. collect large volumes of mental health survey data to understand and reduce this burden. Collaborative analysis of such data could yield effective generalizable predictive models. Privacy constraints and varied survey designs (i.e., different questions, scales, and formats) hinder direct integration. We propose a schema-aware split learning (SL) framework that preserves privacy, using a large language model (LLM) as a shared semantic encoder to harmonize heterogeneous survey schemas across institutions. We serialize each survey record into a natural-language description, unifying disparate survey schemas into a common format. The LLM is fine-tuned for mental distress assessment via Low-Rank Adaptation (LoRA) and partitioned across client and server. Clients retain the raw survey responses locally and run only a lightweight front-end, so original records never leave the institution that collected them. The resource-intensive backbone runs on the server, minimizing client-side computation. Using LLaMA-3.2-3B-Instruct, the framework attains an average ANLS of 0.708 with only 2,000 training samples, surpasses federated learning (FL) in eight of nine settings, and cuts per-client computation by three orders of magnitude, while generalizing to unseen datasets. Overall, it enables accurate, privacy-preserving, and resource-efficient collaborative learning from heterogeneous mental health survey data.
• Abstract（参考訳）: 社会的・ライフスタイルの複雑さの増大は、世界中の精神的な苦痛の高まりと関連している。 教育機関、職場、診療所等は、この負担を理解し軽減するために大量のメンタルヘルス調査データを収集する。 このようなデータの協調分析は、効果的な一般化可能な予測モデルをもたらす可能性がある。 プライバシーの制約と様々なサーベイデザイン(すなわち、異なる質問、スケール、フォーマット)は直接統合を妨げる。 大規模言語モデル(LLM)を共有セマンティックエンコーダとして使用して,機関間の異種調査スキーマの調和を図ることにより,プライバシを保護するスキーマ対応分割学習(SL)フレームワークを提案する。 我々は,各調査記録を自然言語記述にシリアライズし,異なる調査スキーマを共通の形式に統一する。 LLMはLow-Rank Adaptation (LoRA)を介して精神的な苦痛評価のために微調整され、クライアントとサーバ間で分割される。 クライアントは生のアンケートをローカルに保持し、軽量なフロントエンドのみを実行するため、収集した機関を離れることはない。 リソース集約型のバックボーンはサーバ上で動作し、クライアント側の計算を最小限にする。 LLaMA-3.2-3B-インストラクタを使用して、このフレームワークは2000のトレーニングサンプルで平均0.708のANLSを獲得し、9つの設定のうち8つの設定で連邦学習(FL)を超え、クライアント毎の計算を3桁の精度で削減し、未確認のデータセットに一般化する。 全体として、不均一なメンタルヘルス調査データから正確でプライバシー保護、そしてリソース効率の良い協調学習を可能にする。

関連論文リスト

• Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning [0.44333156307871574]
  世界で最も価値のある情報は、特に医療や金融などの高度に規制された分野において、プライベートである。 本稿では,大規模言語モデル(LLM)適応のための,プライベートおよび分散機関データのアンロックに関する実践的アプローチを示す。 当社のフレームワークは,Sherpa.aiフェデレーテッドラーニングプラットフォーム上に構築されており,プライベートデータを交換することなく,共有LLMを共同で微調整することができる。
  論文  参考訳（メタデータ） (2026-05-13T16:20:33Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Enhancing the Medical Context-Awareness Ability of LLMs via Multifaceted Self-Refinement Learning [49.559151128219725]
  大規模言語モデル(LLM)は医療分野で大きな可能性を示しており、いくつかのベンチマークで高いパフォーマンスを実現している。 しかし、実際の医療シナリオではパフォーマンスが低下し続けており、コンテキスト認識の強化が要求されることが多い。 データ駆動型アプローチであるMultifaceted Self-Refinement (MuSeR)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T08:13:23Z)
• Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients [0.0]
  フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。 我々は,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として利用するフレームワークであるFedLLM-Alignを提案する。 冠動脈疾患予測におけるFedLLM-Alignの評価は,シミュレートされたスキーマ分岐を用いた分割データセットを用いて行われる。
  論文  参考訳（メタデータ） (2025-09-29T14:06:52Z)
• Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test [22.499052329934603]
  LLMがトレーニングデータを記憶する時、下流タスクの一般化が改善し始める時、そして両者の間にラグがある場合、どうなるかを検討する。 我々の研究は、初めて、グラッキングが試験前混合物質(MoE)にまだ現れることを示した。 我々の第一の発見は、経路がランダムで非平滑な層をまたいで進化し、例えば、事前学習の損失が収束しているにもかかわらず、より構造化され、サンプル間で移動可能であることである。
  論文  参考訳（メタデータ） (2025-06-26T17:59:58Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• EPIC: Enhancing Privacy through Iterative Collaboration [4.199844472131922]
  従来の機械学習技術は、中央集権的なデータ収集と処理を必要とする。 医療データを集中ストレージにプールする場合、プライバシ、オーナシップ、厳格な規制の問題が存在する。 フェデレートラーニング(FL)アプローチは、中央アグリゲータサーバと共有グローバルモデルを設定することで、そのような問題を克服する。
  論文  参考訳（メタデータ） (2024-11-07T20:10:34Z)
• LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
  巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
  論文  参考訳（メタデータ） (2024-10-28T20:42:46Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。