論文の概要: From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP

• arxiv url: http://arxiv.org/abs/2601.07988v1
• Date: Mon, 12 Jan 2026 20:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.943161
• Title: From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP
• Title（参考訳）: 単語列から行動列へ:縦型NLPのモデリングと評価パラダイムへの適応
• Authors: Adithya V Ganesan, Vasudha Varadarajan, Oscar NE Kjell, Whitney R Ringwald, Scott Feltman, Benjamin J Luft, Roman Kotov, Ryan L Boyd, H Andrew Schwartz,
• Abstract要約: 文献レベルの評価は, 生態学的に有効なモデリングと評価と比較して, かなり異なる結果が得られ, 時には逆の結論がもたらされることが示唆された。 NLP のワードシーケンス評価から $textitbehavior-sequence$ パラダイムへの移行を動機とする,より広範な議論に関連付ける。
• 参考スコア（独自算出の注目度）: 10.614902538213638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While NLP typically treats documents as independent and unordered samples, in longitudinal studies, this assumption rarely holds: documents are nested within authors and ordered in time, forming person-indexed, time-ordered $\textit{behavioral sequences}$. Here, we demonstrate the need for and propose a longitudinal modeling and evaluation paradigm that consequently updates four parts of the NLP pipeline: (1) evaluation splits aligned to generalization over people ($\textit{cross-sectional}$) and/or time ($\textit{prospective}$); (2) accuracy metrics separating between-person differences from within-person dynamics; (3) sequence inputs to incorporate history by default; and (4) model internals that support different $\textit{coarseness}$ of latent state over histories (pooled summaries, explicit dynamics, or interaction-based models). We demonstrate the issues ensued by traditional pipeline and our proposed improvements on a dataset of 17k daily diary transcripts paired with PTSD symptom severity from 238 participants, finding that traditional document-level evaluation can yield substantially different and sometimes reversed conclusions compared to our ecologically valid modeling and evaluation. We tie our results to a broader discussion motivating a shift from word-sequence evaluation toward $\textit{behavior-sequence}$ paradigms for NLP.
• Abstract（参考訳）: NLPは通常、文書を独立して順序付けされていないサンプルとして扱うが、縦断的な研究では、この仮定はまれである: 文書は著者の中にネストされ、時間内に順序付けされ、人によってインデックス付けされ、時間順に$\textit{behavioral sequences}$を形成する。 ここでは,NLPパイプラインの4つの部分を更新する縦断的モデリングと評価のパラダイムの必要性を実証し,提案する。(1) 人に対する一般化に整合した評価分割(「\textit{cross-sectional}$」),(2) 人内ダイナミクスから人間差を分離する精度測定(「\textit{prospective}$」),(3) 歴史を既定で組み込むためのシーケンス入力(「$\textit{coarseness}$」),(4) ヒストリー上の潜時状態(「プール」,「明示的ダイナミックス」,あるいは「インタラクションベースモデル」)。 従来のパイプラインによって引き起こされる問題と,PTSD症状の重大度と組み合わせた17kの日誌のデータセットの改善を実証し,従来の文書レベルの評価は,我々の生態学的に妥当なモデリングと評価と比較して,著しく異なる結果が得られ,時には逆の結論がもたらされることを示した。 NLP のパラダイムとして,単語列評価から $\textit{behavior-sequence} への移行を動機とする,より広範な議論に関連付ける。

関連論文リスト

• SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
  マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。 従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。 SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
  論文  参考訳（メタデータ） (2025-09-16T16:06:19Z)
• CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization [90.15027447565427]
  思考の連鎖(CoT)は、モデルの予測を導くのに役立つ自由テキストの説明を生成する。 自己一貫性(SC: Self-Consistency)は、複数の生成された説明に対する予測を疎外する。 我々は、$textbfC$hain-$textbfo$f-$textbfKe$ywords (CoKe)を提案する。
  論文  参考訳（メタデータ） (2025-03-21T13:37:46Z)
• How Humans Help LLMs: Assessing and Incentivizing Human Preference Annotators [8.244694683982784]
  我々は,人間のアノテーションの性能を評価し,高品質なアノテーションを提供することにインセンティブを与えるという課題について検討する。 我々は,企業とアノテータの挙動と相互作用を特徴付けるプリンシパルエージェントモデルを開発した。 このモデルは、双方に利益をもたらすアノテータをインセンティブ化するボーナススキームの実践的なメカニズムを合理化する。
  論文  参考訳（メタデータ） (2025-02-10T12:15:27Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• BBScoreV2: Learning Time-Evolution and Latent Alignment from Stochastic Representation [23.765789561546715]
  自動回帰生成モデルは、特に長いテキストシーケンスのモデリングと評価において、様々な言語タスクにおいて重要な役割を果たす。 本研究では、変換器をベースとしたモデル埋め込みをプロセスに組み込むことで、元来の順序のないモデル出力から順序付けられた潜在表現が得られることを観察する。 BBVScore2は,BBV2の有効性に対する直感的かつ定量的な支援を提供する。
  論文  参考訳（メタデータ） (2024-05-28T02:33:38Z)
• Higher-Order DeepTrails: Unified Approach to *Trails [7.270112855088838]
  人間の振る舞いを分析し、理解し、記述することは、Webブラウジングやトラフィックナビゲーションなど、異なる設定で有利である。 本稿では,従来,シーケンス内の高次依存関係のモデル化に用いられてきた自動回帰言語モデルを用いて,シーケンス全体を解析することを提案する。 提案手法は,HypTrails,MixedTrails,さらにはSubTrailsなど,従来の作業で導入された異なる設定に容易に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-06T06:54:11Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters [35.103851212995046]
  自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。 本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2022-04-15T12:56:39Z)
• An Empirical Study: Extensive Deep Temporal Point Process [61.14164208094238]
  本稿では,非同期イベントシーケンスを時間的プロセスでモデル化することの課題と最近の研究を概観する。 本稿では,多種類のイベント間の関係を生かしたGranger因果発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T10:15:00Z)
• Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
  そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。 さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。 実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T13:56:46Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization [72.54873655114844]
  テキスト要約は、NLPにおいて最も困難で興味深い問題の1つである。 本研究では、まず、異なる視点から構造化されていない日々のチャットの会話構造を抽出し、会話を表現するマルチビューシーケンス・ツー・シーケンスモデルを提案する。 大規模対話要約コーパスの実験により,本手法は,自動評価と人的判断の両面から,従来の最先端モデルよりも有意に優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-04T20:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。