論文の概要: Navigating through the hidden embedding space: steering LLMs to improve mental health assessment

• arxiv url: http://arxiv.org/abs/2510.16373v1
• Date: Sat, 18 Oct 2025 06:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.969297
• Title: Navigating through the hidden embedding space: steering LLMs to improve mental health assessment
• Title（参考訳）: 隠れた埋め込み空間をナビゲートする:メンタルヘルスアセスメントを改善するためにLLMを操る
• Authors: Federico Ravenda, Seyed Ali Bahrainian, Andrea Raballo, Antonietta Mira,
• Abstract要約: 小規模AIモデルは、ドメイン固有のアプリケーションで最適なパフォーマンスを提供するのに依然として苦労している。 本手法は, モデル出力の導出にステアリングベクトルを活用することによって, 特定の層の活性化に線形変換を適用する。
• 参考スコア（独自算出の注目度）: 5.788118988775462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid evolution of Large Language Models (LLMs) is transforming AI, opening new opportunities in sensitive and high-impact areas such as Mental Health (MH). Yet, despite these advancements, recent evidence reveals that smaller-scale models still struggle to deliver optimal performance in domain-specific applications. In this study, we present a cost-efficient yet powerful approach to improve MH assessment capabilities of an LLM, without relying on any computationally intensive techniques. Our lightweight method consists of a linear transformation applied to a specific layer's activations, leveraging steering vectors to guide the model's output. Remarkably, this intervention enables the model to achieve improved results across two distinct tasks: (1) identifying whether a Reddit post is useful for detecting the presence or absence of depressive symptoms (relevance prediction task), and (2) completing a standardized psychological screening questionnaire for depression based on users' Reddit post history (questionnaire completion task). Results highlight the untapped potential of steering mechanisms as computationally efficient tools for LLMs' MH domain adaptation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進化は、AIを変革し、メンタルヘルス(MH)のような敏感で高影響の領域に新たな機会を開放している。 しかし、これらの進歩にもかかわらず、近年の証拠は、小規模モデルは依然としてドメイン固有のアプリケーションで最適なパフォーマンスを提供するのに苦戦していることを示している。 本研究では,計算集約的な手法を使わずに,LCMのMH評価能力を向上させるためのコスト効率のよい強力な手法を提案する。 本手法は, モデル出力の導出にステアリングベクトルを活用することによって, 特定の層の活性化に線形変換を適用する。 この介入により,(1) Reddit投稿がうつ症状の有無(関連予測タスク)の検出に有用かどうか,(2) ユーザのReddit投稿履歴(調査完了タスク)に基づいてうつ病の標準化された心理スクリーニングアンケートを完了する。 LLMのMHドメイン適応のための計算効率の良いツールとして、ステアリング機構の未実装の可能性を強調した。

関連論文リスト

• LMILAtt: A Deep Learning Model for Depression Detection from Social Media Users Enhanced by Multi-Instance Learning Based on Attention Mechanism [2.398386906858336]
  うつ病は世界的な公衆衛生上の大きな課題であり、早期の身元確認は極めて重要である。 本研究ではLMILAttモデルを提案し,Long Short-Term Memory Autoencoderとアテンション機構を統合した。 実験により、精度、リコール、F1スコアの点で、モデルがベースラインモデルよりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2025-09-30T11:58:32Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Hierarchical Reinforcement Learning Framework for Adaptive Walking Control Using General Value Functions of Lower-Limb Sensor Signals [0.40498500266986387]
  階層強化学習を用いて,低域外骨格に対する適応制御戦略を開発する。 提案手法は,エクソスケルトン制御適応の複雑なタスクを,地形戦略適応のための高レベルフレームワークと予測情報を提供する低レベルフレームワークに分解する。 本研究では,実際のセンサ信号と予測センサ信号を政策ネットワークに組み込むことにより,制御システムの意思決定能力を向上させることを目的とした2つの手法について検討した。
  論文  参考訳（メタデータ） (2025-07-22T19:47:04Z)
• Exploring Model Editing for LLM-based Aspect-Based Sentiment Classification [17.512415475301395]
  本研究では,大規模言語モデル(LLM)をアスペクトベース感情分類に適応させる効率的な手法として,モデル編集について検討する。 この結果から,特定のアスペクト単語の感情極性を検出するには,異なる中間層表現のセットが不可欠であることが判明した。 我々は,LLMの重要な部分にのみ焦点をあてたモデル編集手法を開発し,より効率的なLLM適応法を実現する。
  論文  参考訳（メタデータ） (2025-03-19T11:21:37Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models [37.476241509187304]
  大規模言語モデル(LLM)は、広範囲なデータに対する事前学習を通じて、優れたパフォーマンスを達成する。 基本的なメカニズムにおける解釈可能性の欠如は、特定のアプリケーションに対してLLMを効果的に操る能力を制限する。 本稿では,パラメータ効率の優れた微調整法に基づく効率的な選択的層干渉法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。