論文の概要: LifeSentence: Language models can encode human life course trajectories from longitudinal panel data
- arxiv url: http://arxiv.org/abs/2606.11220v1
- Date: Thu, 14 May 2026 20:28:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.847585
- Title: LifeSentence: Language models can encode human life course trajectories from longitudinal panel data
- Title（参考訳）: LifeSentence:縦パネルデータから人間のライフコース軌跡を符号化する言語モデル
- Authors: Samuel Liu, Muchen Xi, William Yeoh, Joshua J. Jackson,
- Abstract要約: LifeSentenceは、縦パネルデータで大きな言語モデルをブリッジするライフコース推論のモデルである。
ドイツ社会経済パネルから約65,000人の個人を訓練した。
- 参考スコア（独自算出の注目度）: 3.665697585894509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forecasting human life outcomes is important to gain insights into how individuals attain long and healthy lives. Conventional statistical approaches yield limited accuracy, potentially due to discarding the sequential structure of the life course. Modern methods such as transformer architectures require large scale training data that most longitudinal panel studies lack. Here we introduce LifeSentence, a model for life-course reasoning that bridges large language models with longitudinal panel data. By representing each life event as a structured natural-language record and instruction-tuning a pretrained 24-billion-parameter language model across an 18-task evaluation taxonomy spanning prediction, robustness and reasoning, LifeSentence supplements panel data with distributional knowledge already encoded during pretraining. Trained on approximately 65,000 individuals from the German Socio-Economic Panel - roughly 45 times fewer than prior transformer-based approaches - LifeSentence outperforms classical and deep learning baselines across all task families, achieving a threefold improvement in joint event-and-timing prediction from best baselines and 91.2% Kendall's tau when reconstructing chronological order from timestamp-stripped event sets. Without explicit supervision, the model recovers documented patterns of social stratification, including the education premium, the gender wage gap and the motherhood penalty, from discrete event sequences alone. A natural-language interface further enables qualitatively new research queries, such as connecting an early-life history to a specified late-life endpoint, establishing LifeSentence as both a predictive tool and a probe for counterfactual exploration of human biographies.
- Abstract（参考訳）: 人間の生活結果を予測することは、個人がいかにして長く健康な生活を得るかについての洞察を得るために重要である。
従来の統計的アプローチでは、ライフコースのシーケンシャルな構造を捨てるため、限られた精度が得られる。
トランスフォーマーアーキテクチャのような現代的な手法では、ほとんどの縦パネル研究に欠けている大規模なトレーニングデータを必要とする。
本稿では,縦パネルデータで大規模言語モデルをブリッジするライフコース推論モデルであるLifeSentenceを紹介する。
各ライフイベントを構造化された自然言語レコードとして表現し、予測、堅牢性、推論にまたがる18タスク評価分類における事前訓練された24ビリオンパラメータ言語モデルをトレーニングすることで、LifeSentenceは、事前トレーニング中にすでに符号化された分散知識でパネルデータを補完する。
ドイツの社会経済パネル(英語版)の約65,000人の個人(以前のトランスフォーマーベースのアプローチの約45倍少ない)をトレーニングしたLifeSentenceは、すべてのタスクファミリで古典的および深層学習のベースラインを上回り、タイムスタンプを張ったイベントセットから時系列の順序を再構築する際に、最高のベースラインから3倍の改善と91.2%のKendall's tauを達成している。
明確な監督なしに、このモデルは、個別のイベントシーケンスのみから、教育料、男女賃金格差、母親のペナルティを含む、社会階層化の文書化されたパターンを復元する。
自然言語インタフェースにより、早期生活史を特定の後期生活の終点に接続したり、LifeSentenceを予測ツールと人間の伝記を反現実的に探究するためのプローブとして確立したりするなど、定性的に新しい研究クエリが可能になる。
関連論文リスト
- Survival In-Context: Prior-fitted In-context Learning Tabular Foundation Model for Survival Analysis [19.308150844590916]
Survival In-Context (SIC) は、生存分析のための文脈内学習モデルである。
SICは単一の前方通過で個別化された生存予測を生成する。
SICは、古典的モデルやディープサバイバルモデルと比較して、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-31T09:22:52Z) - Using Text-Based Life Trajectories from Swedish Register Data to Predict Residential Mobility with Pretrained Transformers [39.146761527401424]
我々は690万人からのデータ(2001-2013)を意味的にリッチなテキストに変換する。
これらのライフトラジェクトリーは、人口統計情報と、住居、仕事、教育、収入、家族の状況の年次変化を結びつけている。
論文 参考訳（メタデータ） (2025-11-26T15:27:32Z) - Personality Prediction from Life Stories using Language Models [12.851871085845499]
本研究では,5要素モデル(FFM)の性格特性を予測するために,2000トークンを超える長話インタビューをモデル化することの課題に対処する。
まず,事前学習した言語モデルのスライディング・ウインドウ・ファインタニングを用いてコンテキスト埋め込みを抽出し,長期依存性を統合し,解釈可能性を高めるための注意機構を備えたリカレントニューラルネットワーク(RNN)を適用する。
論文 参考訳（メタデータ） (2025-06-24T02:39:06Z) - Using Sequences of Life-events to Predict Human Lives [16.77071145203099]
我々は、人間の生活の進化と予測可能性を調べるために、最も包括的なレジストリデータを作成している。
我々は、この埋め込み空間が堅牢で高度に構造化されていることを示す1つのベクトル空間に、ライフイベントの埋め込みを作成する。
我々のモデルは、早期死亡からパーソナリティニュアンスまで多様な結果を予測することができ、最先端のモデルよりも広いマージンで優れています。
論文 参考訳（メタデータ） (2023-06-05T16:19:48Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳（メタデータ） (2022-05-28T01:03:30Z) - Locally Typical Sampling [84.62530743899025]
我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。
本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
将来予測のための逆生成文法モデルを提案する。
私たちの文法は、データ分散から生産ルールを学習できるように設計されています。
推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
論文 参考訳（メタデータ） (2020-08-11T17:47:53Z) - Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。
教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-05-11T16:54:19Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z) - Uncovering life-course patterns with causal discovery and survival
analysis [5.627346969563955]
生命イベントの選択と確率論的観点からの出現をモデル化するための新しいアプローチを提供する。
データはドイツのドルトムントで実施された調査から来ている。
論文 参考訳（メタデータ） (2020-01-30T15:30:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。