論文の概要: Evaluating Document-Tuned Transformer Representations for Person-level Mental Health Assessment

• arxiv url: http://arxiv.org/abs/2606.21622v1
• Date: Fri, 19 Jun 2026 17:23:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 04:32:10.765303
• Title: Evaluating Document-Tuned Transformer Representations for Person-level Mental Health Assessment
• Title（参考訳）: 個人レベルのメンタルヘルスアセスメントのための文書調整型トランスフォーマ表現の評価
• Authors: Aaron Marker, Oscar Kjell, Vasudha Varadarajan, H. Andrew Schwartz,
• Abstract要約: 本稿では,アーキテクチャに適合する従来の基底変換器と文書調整変換器の系統的,実証的な比較について述べる。 文書調整モデルでは,ベース表現よりも一貫した改善が見られた。 これらの結果は、表現の選択がメンタルヘルス予測に影響を与えることを示唆している。
• 参考スコア（独自算出の注目度）: 8.903153594536803
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Person-level psychological assessment requires aggregating meaning across many messages from the same individual, a task that document-level training objectives were not explicitly designed for. We present a systematic, empirical comparison between architecturally matched traditional (a) base-transformers and (b) document-tuned-transformers (further contrastively fine-tuned at the document-level, sometimes referred to as "sentence transformers") under otherwise identical conditions. Comparing layer-wise and overall performance across two longitudinal mental health and psychological datasets, we find document-tuned models demonstrated a consistent improvement over base representations (increase in Pearson r of 13.4%, p=.015). Robustness analyses revealed document-tuned models remained more accurate under perturbations to word deletion, synonym replacement, typo injection, and back translation. Further, hedged language (e.g., `usually') was more characteristic of outcomes in document-tuned embeddings while abundance (e.g., `lot') was more characteristic of base-transformers, suggesting document-tuned models may better capture uncertainty. These results suggest representation choice impacts mental health prediction, document-tuned models often being more adept.
• Abstract（参考訳）: 個人レベルの心理的アセスメントは、文書レベルのトレーニング目的が明示的に設計されていないタスクである、同一個人からの多くのメッセージにまたがって意味を集約する必要がある。 建築的に整合した伝統的建築の体系的,実証的な比較について述べる。 (a)ベーストランス (b)文書調整変換器(文書レベルでは対照的に微調整され、時には「文変換器」と呼ばれる)は、他の場合と全く同じ条件下で行う。 2つの縦断的なメンタルヘルスと心理学的データセットのレイヤーワイドと全体的なパフォーマンスを比較すると、文書化されたモデルはベース表現よりも一貫した改善を示した(ピアソンrは13.4%、p=.015)。 ロバストネス分析では、単語削除、同義語置換、タイポインジェクション、後方翻訳の摂動の下で、文書調整モデルの方が精度が高かった。 さらに、ヘッジド言語(eg, ` usually')は文書調整埋め込みの結果のより特徴的であり、アバンダンス(eg, `lot')はベース変換器のより特徴的であり、文書調整モデルの方が不確実性を捉えやすいことを示唆した。 これらの結果は、表現の選択がメンタルヘルス予測に影響を与えることを示唆している。

関連論文リスト

• Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection [1.1340133299604382]
  語彙意味変化検出のための最も影響力のあるベンチマークであるSemEval-2020 Task 1を再検討する。 ベンチマークは、かなりのコーパスと前処理の問題に影響されていることを示す。 我々は、限定言語の範囲が限定された小さな目標セットは現実主義を減らし、統計的不確実性を増大させると主張している。
  論文  参考訳（メタデータ） (2026-04-14T19:01:25Z)
• Improving Document Retrieval Coherence for Semantically Equivalent Queries [63.97649988164166]
  同じ文書を検索する際のモデルのコヒーレンスを改善する訓練DRにおける多段階ランク付け損失のバリエーションを提案する。 この損失は、多様だがセマンティックな等価なクエリのために検索されたトップkランクのドキュメント間の不一致を罰する。
  論文  参考訳（メタデータ） (2025-08-11T13:34:59Z)
• Modelling Adjectival Modification Effects on Semantic Plausibility [1.0582505915332339]
  可視性の変化を理解することは、対話生成、常識推論、幻覚検出といったタスクに関係している。 1つの形容詞修飾子で異なる16Kの英文対からなるADEPTチャレンジベンチマークに取り組む。 モデル化実験は,文変換器を用いて概念的に新しい手法を提供し,それらと変換器をベースとしたモデルが手作業で苦労していることを明らかにする。
  論文  参考訳（メタデータ） (2025-07-29T14:06:19Z)
• Linear Recency Bias During Training Improves Transformers' Fit to Reading Times [16.55240473621401]
  本稿では,アテンションスコアに付加される電流バイアスであるALiBiを用いたTransformerモデルの変更について検討する。 ALiBiのスロープの混合 -- 各アテンションヘッドのメモリ減衰率を決定する -- は、ALiBiのモデルがさまざまな言語的依存関係を追跡するのを助ける役割を果たす可能性がある。
  論文  参考訳（メタデータ） (2024-09-17T14:57:51Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• Contrastive Learning for Neural Topic Model [14.65513836956786]
  敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。 最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。 実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-25T09:46:26Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Variational Weakly Supervised Sentiment Analysis with Posterior Regularization [41.7901695397377]
  弱教師付き感情分析に対する変動的アプローチのための後続正規化フレームワークを提案する。 実験の結果, 後方正則化は, 弱教師付き感情分析に対する元の変分的アプローチを改善できることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T09:05:31Z)
• Rethinking Document-level Neural Machine Translation [73.42052953710605]
  現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-18T11:18:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。