論文の概要: On the Role of Inductive Bias in Time-Series Pretraining: A Case Study in Learning Generalizable Representations for Clinical Time Series

• arxiv url: http://arxiv.org/abs/2605.26194v2
• Date: Wed, 27 May 2026 19:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.72758
• Title: On the Role of Inductive Bias in Time-Series Pretraining: A Case Study in Learning Generalizable Representations for Clinical Time Series
• Title（参考訳）: 時系列事前学習における誘導バイアスの役割について:臨床時系列における一般化表現の学習を事例として
• Authors: Sharmita Dey, Diego Paez-Granados,
• Abstract要約: 課題タイプや課題間の表現が伝達されるように、事前学習対象がどの帰納的バイアスを課すべきかを考察する。 ダイナミクス中心の混合物は最もバランスの取れた移動を生み出す。 全体として、局所的再構成と時間的連続性を組み合わせるとともに、アクセスが現実的であればコンテキスト内条件付けを加えることで、堅牢な主観的表現が得られる。
• 参考スコア（独自算出の注目度）: 3.5353167506352445
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Clinical time-series learning is routinely constrained by small, heterogeneous cohorts and protocol drift, while its downstream use spans both classification (e.g., pathology diagnosis) and regression (e.g., temporal forecasting). These constraints make foundation-model pretraining appealing, but raises an important question of which inductive biases should the pretraining objective impose so that representations transfer across task types and subjects. We study this question in pathological gait analysis for spinal cord injury (SCI) via PathoFM, an encoder-centric transformer pretrained on multivariate gait windows with three complementary objectives: Local Completion (reconstruct contiguous masked spans to enforce local structure), Temporal Continuity (predict a masked mid-horizon continuation from an observed prefix to enforce smoothness and causal consistency), and Unsupervised In-Context Dynamics (support-query reconstruction conditioned on subject exemplar windows via attention). Empirically comparing objective families (grouping/contrastive, dynamics-based, and generative reconstruction), we find that dynamics-centric mixtures produce the most balanced transfer: grouping objectives favor discriminative margins but can degrade magnitude fidelity needed for continuous targets, whereas reconstruction-only objectives preserve waveform structure but may underperform on classification. Overall, combining local reconstruction with temporal continuity, and adding in-context conditioning when exemplar access is realistic, yields robust subject-generalizing representations.
• Abstract（参考訳）: 臨床時系列学習は、小さくて異質なコホートとプロトコルドリフトによって規則的に制限されるが、下流での使用は分類(例:病理診断)と回帰(例:時間予測)の両方にまたがる。 これらの制約は、基礎モデルの事前訓練をアピールするが、どの誘導バイアスが事前訓練の目的を課すべきかという重要な疑問を提起し、タスクタイプや課題間の表現を伝達する。 本研究では,多変量歩行窓に予め訓練されたエンコーダ中心のトランスフォーマーであるPathoFMによる脊髄損傷の病理学的歩行解析において,局所補完(局所的な局所構造を強制するために連続的にマスクしたスパンを再構成する),時間連続性(観察された前頭葉からマスク付き中水平継続を予測し,スムーズさと因果一貫性を強制する),非教師的インコンテクストダイナミックス(注意による被検体外窓の支持クエリー再構成)の3つの相補的目的について検討した。 グループ化の対象は差別的マージンを好むが,連続目標に必要なフィデリティを格段に低下させることができる一方で,再構成のみ対象は波形構造を保持するが,分類によっては過小評価される可能性がある。 全体としては、局所的な再構成と時間的連続性の組み合わせと、例えるアクセスが現実的な場合のコンテキスト内条件付けの追加により、堅牢な主観的表現が得られる。

関連論文リスト

• Continual Segmentation under Joint Nonstationarity [8.522964568257455]
  進化するデータストリームは連続的なセマンティックセグメンテーションにおいて関節の非定常性を誘導する。 この設定は、実際に構築された予測システムを反映しているが、従来の連続的な学習作業では、ほとんど探索されていない。 連成クラス,ドメイン,ラベルのシフトの下で連続的なセグメンテーションを定式化し,異種密接な予測環境における学習について検討する。
  論文  参考訳（メタデータ） (2026-05-19T22:20:00Z)
• AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models [1.7823291802496628]
  AURORA, Adaptive Uncertainty Representations through Orthogonalized observedal alignment。 AURORAは意味的部分空間を文脈的要素に分解し、各部分空間内の一貫性の目標を学習する。 コンテクストの混乱、近隣の純度、制度的な流通シフトの下で、コンテクストの再構築を継続的に上回り、実質的に改善する。
  論文  参考訳（メタデータ） (2026-05-18T02:32:50Z)
• Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
  Referring-Aware Visuomotor Policy(ReV)について紹介する。 ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。 これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
  論文  参考訳（メタデータ） (2026-04-07T07:41:11Z)
• Smooth embeddings in contracting recurrent networks driven by regular dynamics: A synthesis for neural representation [45.88028371034407]
  最近の実証研究は、訓練された反復モデルにおけるトポロジー保存潜在組織を文書化している。 貯水池計算における最近の理論的結果は、同期写像が埋め込みである条件を確立する。 私たちのコントリビューションは、一般的な同期と、契約型貯水池の埋め込み保証を組み立てる統合フレームワークです。
  論文  参考訳（メタデータ） (2026-01-26T23:10:39Z)
• A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
  局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。 その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-01-11T03:25:38Z)
• Limits of Generative Pre-Training in Structured EMR Trajectories with Irregular Sampling [0.7537475180985093]
  ファンデーションモデルは、複雑なパターンやモチーフをキャプチャするために自動回帰事前トレーニングを使用して、広大なデータセットでトレーニングされたアーキテクチャを指す。 HIVおよび急性低血圧データセットの経時的ART(Sequence-to-Sequence LSTM)とTransformer(reduced Transformer)の2つの自己回帰モデル(Sequence-to-Sequence LSTM)をトレーニングした。 ランダムな視線間ギャップを介してトレーニング中に制御された不規則性が追加されたが、テストシーケンスは完了しなかった。 どちらも特徴分布を再現したが、クロスフィーチャー構造を保存できなかった。
  論文  参考訳（メタデータ） (2025-10-27T00:04:17Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。