論文の概要: No Transformer Beats Six Covariates: Long-Horizon Prediction of Depressive Symptoms from Childhood Essays

• arxiv url: http://arxiv.org/abs/2610.07764v1
• Date: Tue, 06 Oct 2026 05:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.819056
• Title: No Transformer Beats Six Covariates: Long-Horizon Prediction of Depressive Symptoms from Childhood Essays
• Title（参考訳）: 変圧器は6つの共変体に勝る--小児期における抑うつ症状の長期予測
• Abstract要約: 11歳で書いたエッセイから23歳でのうつ症状を予測した。 私たちのベースラインは、エッセイのみを見るすべてのテキストモデルより優れています。 ロングホライズン予測では、ベースラインが打ち勝つモデルのままである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language processing (NLP) models can detect depression-related language in text written near the time symptoms are measured, but whether pretrained transformers can predict depressive symptoms from text written twelve years earlier is largely untested. In the National Child Development Study, a British birth cohort, we predict probable depressive symptoms at age 23 from essays the same people wrote at age 11. Our baseline, a logistic regression on six childhood covariates, outperforms every text model that sees only the essay: seven fine-tuned transformers, a bag-of-words model, frozen embeddings and four zero-shot large language models. Its area under the receiver operating characteristic curve (AUC-ROC) is 0.737 against 0.670 for the best transformer on the primary seed, and no added text score detectably raises the baseline's AUC-ROC. None of the five domain-pretrained transformers detectably beats its general-domain control after Bonferroni correction. For long-horizon prediction, the baseline remains the model to beat.
• Abstract（参考訳）: 自然言語処理(NLP)モデルは、時間的症状の測定付近で書かれたテキスト中のうつ病関連言語を検出することができるが、事前訓練されたトランスフォーマーが12年前に書かれたテキストからうつ病の症状を予測できるかどうかはほとんどテストされていない。 英国生まれのコホートであるナショナル・チャイルド・ディベロップメント・スタディ(National Child Development Study)では、23歳で、同じ人が11歳で書いたエッセイから、おそらくうつ病の症状を予測する。 7つの微調整トランスフォーマー、単語のバッグモデル、凍結埋め込み、4つのゼロショット大言語モデル。 受信機動作特性曲線(AUC-ROC)の下の領域は、プライマリシード上で最高のトランスフォーマーに対して0.737対0.670であり、テキストスコアが加算されることで、ベースラインのAUC-ROCが検出されることはない。 ボニフェロニ補正後の一般領域制御は, 5つの領域に制限された変圧器のうち, いずれの領域も検出不能である。 ロングホライズン予測では、ベースラインが打ち勝つモデルのままである。

関連論文リスト

• Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models [0.0]
  子ども指向音声で訓練された言語モデルにおいて、相互排他性は参照抑制として機能する。 子指向音声における分布学習は、語彙的排他性よりも反復に基づく参照追跡を生成する。 我々は、参照グラウンドディングは、ナチビストではなく、必要な入力構造に関する実証的な主張であるMEにとって必要な要素であるかもしれないと論じる。
  論文  参考訳（メタデータ） (2026-03-14T01:59:50Z)
• DepFlow: Disentangled Speech Generation to Mitigate Semantic Bias in Depression Detection [54.209716321122194]
  抑うつ条件付きテキスト音声合成フレームワークであるDepFlowについて述べる。 抑うつ音響カモフラージュは、対向訓練を通じて話者と内容不変の抑うつ埋め込みを学習する。 フローマッチングTTSモデルとFiLM変調はこれらの埋め込みを合成に注入し、うつ病の重症度を制御する。 プロトタイプベースの重度マッピング機構は、うつ病連続体を滑らかかつ解釈可能な操作を提供する。
  論文  参考訳（メタデータ） (2026-01-01T10:44:38Z)
• DepressLLM: Interpretable domain-adapted language model for depression detection from real-world narratives [6.1211540596331755]
  本研究では,幸福と苦悩の両方を反映した3,699個の自伝的物語のコーパスをトレーニングし,評価したDepressLLMを紹介する。 DepressLLMは解釈可能な抑うつ予測を提供し、Score-guided Token Probability Summation (SToPS)モジュールを通じて、改善された分類性能と信頼性の高い信頼推定を提供する。
  論文  参考訳（メタデータ） (2025-08-12T03:12:55Z)
• LLMCARE: early detection of cognitive impairment via transformer models enhanced by LLM-generated synthetic data [32.69241041313969]
  アルツハイマー病と関連する認知症は、米国で500万人近い高齢者に影響を及ぼす。 本研究は,トランスフォーマー埋め込みと手作り言語的特徴を融合した音声ベースのスクリーニングパイプラインを開発し,評価する。
  論文  参考訳（メタデータ） (2025-08-08T13:44:55Z)
• A BERT-Based Summarization approach for depression detection [1.7363112470483526]
  うつ病は世界中で流行する精神疾患であり、対処されないと深刻な反感を引き起こす可能性がある。 機械学習と人工知能は、さまざまなデータソースからのうつ病指標を自律的に検出することができる。 本研究では,入力テキストの長さと複雑さを低減させる前処理手法として,テキスト要約を提案する。
  論文  参考訳（メタデータ） (2024-09-13T02:14:34Z)
• Investigating Critical Period Effects in Language Acquisition through Neural Language Models [70.6367059367609]
  第二言語 (L2) の習得は幼少期以降難しくなる。 この期間以降、第1言語(L1)への露出を緩和することは、通常、L1の習熟度を著しく低下させることはない。 これらのCP効果が自然に決定された脳の成熟によるものなのか、または経験によって自然に誘発される神経接続の安定化であるのかは不明である。
  論文  参考訳（メタデータ） (2024-07-27T19:17:10Z)
• How well can machine-generated texts be identified and can language models be trained to avoid identification? [1.1606619391009658]
  合成ツイートを生成するために、5つの異なる言語モデルを洗練します。 ナイーブベイズのような浅層学習分類アルゴリズムは0.6から0.8の精度で検出できることがわかった。 生成モデルを改良するために強化学習アプローチを用いることで,検出精度0.15以下でBERTベースの分類を回避できることが判明した。
  論文  参考訳（メタデータ） (2023-10-25T20:43:07Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation [98.37871690400766]
  非AutoRegressive (NAR) テキスト生成モデルは、デコード速度が大幅に速く、機械翻訳の質が良いため、多くの注目を集めている。 既存のNARモデルは適切な事前訓練を欠いており、まだ訓練済みの自己回帰モデルよりはるかに遅れている。 我々は,NAR生成における予測整合性を促進するために,事前訓練された非巡回変圧器を提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:30:33Z)
• MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models [98.53511229517463]
  本稿では,大規模言語モデルを用いた新しいフレームワークを提案し,外部知識ベースを組み込んだテキスト生成制御を提案する。 本フレームワークは,キーワード予測器,知識検索器,文脈知識ランキング器,条件付きテキスト生成器から構成される。 実験の結果、我々のモデルは、ROCストーリーデータセットの以前の作業と比較して、反復性が低く、多様性が低い、より流動的で、一貫性があり、一貫性のあるストーリーを生成します。
  論文  参考訳（メタデータ） (2020-10-02T08:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。