論文の概要: LiFT: Does Instruction Fine-Tuning Improve In-Context Learning for Longitudinal Modelling by Large Language Models?

• arxiv url: http://arxiv.org/abs/2604.16382v1
• Date: Wed, 25 Mar 2026 20:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.947527
• Title: LiFT: Does Instruction Fine-Tuning Improve In-Context Learning for Longitudinal Modelling by Large Language Models?
• Title（参考訳）: LiFT:インストラクションファインタニングは大規模言語モデルによる縦型モデリングにおける文脈学習を改善するか?
• Authors: Iqra Ali, Talia Tseriotou, Mahmud Elahi Akhter, Yuxiang Zhou, Maria Liakata,
• Abstract要約: 縦方向のNLPタスクは、人間の行動や意見の持続性や変化を検出するために、時間的に順序付けられたテキストの推論を必要とする。 本稿では,多種多様な縦方向モデリングタスクを共有命令スキーマの下で統合する,縦方向命令微調整フレームワークLiFTを紹介する。
• 参考スコア（独自算出の注目度）: 15.417461558991832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Longitudinal NLP tasks require reasoning over temporally ordered text to detect persistence and change in human behavior and opinions. However, in-context learning with large language models struggles on tasks where models must integrate historical context, track evolving interactions, and handle rare change events. We introduce LiFT, a longitudinal instruction fine-tuning framework that unifies diverse longitudinal modeling tasks under a shared instruction schema. LiFT uses a curriculum that progressively increases temporal difficulty while incorporating few-shot structure and temporal conditioning to encourage effective use of past context. We evaluate LiFT across five datasets. Models trained on longitudinal tasks with different levels of temporal granularity are tested for generalisability on two separate datasets. Across models with different parameter sizes (OLMo (1B/7B), LLaMA-8B, and Qwen-14B), LiFT consistently outperforms base-model ICL, with strong gains on out-of-distribution data and minority change events.
• Abstract（参考訳）: 縦方向のNLPタスクは、人間の行動や意見の持続性や変化を検出するために、時間的に順序付けられたテキストの推論を必要とする。 しかし、大規模な言語モデルを用いたコンテキスト内学習は、モデルが過去のコンテキストを統合し、進化するインタラクションを追跡し、まれな変更イベントを処理する必要があるタスクに苦労する。 本稿では,多種多様な縦方向モデリングタスクを共有命令スキーマの下で統合する,縦方向命令微調整フレームワークLiFTを紹介する。 LiFTは、過去の文脈を効果的に活用するために、わずかなショット構造と時間条件を取り入れながら、時間的困難を徐々に増大させるカリキュラムを使用している。 5つのデータセットでLiFTを評価する。 時間的粒度の異なる時間的タスクで訓練されたモデルは、2つの異なるデータセットの一般化性をテストする。 パラメータサイズが異なるモデル(OLMo (1B/7B)、LLaMA-8B、Qwen-14B)では、LiFTはベースモデルICLより一貫して優れており、アウト・オブ・ディストリビューションデータやマイノリティ変更イベントに強く依存している。

関連論文リスト

• TimeSense:Making Large Language Models Proficient in Time-Series Analysis [26.44226032396234]
  時系列領域では、テキストと時間データを組み合わせて大規模な言語モデルの推論能力を活用する作業が増えている。 テキスト推論と時間的感覚のバランスをとることで,LLMを時系列解析に熟練させるフレームワークであるTimeSenseを提案する。 TimeSenseは複数のタスクにまたがる最先端のパフォーマンスを実現し、特に複雑な多次元時系列推論タスクにおいて既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-11-09T12:00:18Z)
• Writing-RL: Advancing Long-form Writing via Adaptive Curriculum Reinforcement Learning [55.41828729623907]
  本稿では,適応型カリキュラム強化学習フレームワーク「Ling-RL: An Adaptive Curriculum Reinforcement Learning」について紹介する。 フレームワークは3つの重要なコンポーネントで構成されている。高い学習可能性を持つサンプルを優先するMargin-aware Data Selection戦略、差別的な学習信号を提供するPairwise Comparison Rewardメカニズム、動的参照スケジューリングアプローチである。
  論文  参考訳（メタデータ） (2025-06-06T05:40:39Z)
• Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning [103.65680870130839]
  本研究では,長期事前学習モデルの学習後段階の指導データを設計する方法について検討する。 制御された研究では、短い文脈で調整されたモデルが、より長いコンテキストに効果的に一般化できることが判明した。 これらの知見に基づいて,新しいデータ合成フレームワークであるコンテキスト合成を提案する。
  論文  参考訳（メタデータ） (2025-02-21T17:02:40Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。