論文の概要: Temporal Task Diversity: Inductive Biases Under Non-Stationarity in Synthetic Sequence Modelling

• arxiv url: http://arxiv.org/abs/2605.18281v1
• Date: Mon, 18 May 2026 12:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.595017
• Title: Temporal Task Diversity: Inductive Biases Under Non-Stationarity in Synthetic Sequence Modelling
• Title（参考訳）: 時間的タスクの多様性:合成シーケンスモデリングにおける非定常下の帰納的ビアーゼ
• Authors: Afiq Abdillah Effiezal Aswadi, Oliver Britton, Ross Baker, Matthew Farrugia-Roberts,
• Abstract要約: 本稿では,学習時間にまたがるタスク分布の多様化効果について検討する。 このような時間的多様性は、記憶の一般化に対するバイアスを増大させる。
• 参考スコア（独自算出の注目度）: 3.330179707700564
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep learning science often assumes that neural networks learn from a fixed data distribution. However, many practically important learning problems involve data distributions that change throughout training. How does such non-stationarity impact the inductive biases of deep learning towards models with different structural, generalisation, and safety properties? A fruitful testbed for studying inductive bias is in-context linear regression sequence modelling, where small transformers display strikingly different generalisation patterns depending on the diversity of the (fixed) training task distribution. In this paper, we explore the effect of diversifying the task distribution across training time, finding that such temporal diversity leads to an increased bias towards generalisation over memorisation.
• Abstract（参考訳）: 現代のディープラーニング科学は、ニューラルネットワークが固定データ分布から学習すると仮定することが多い。 しかし、実際に重要な学習問題の多くは、トレーニングを通して変化するデータ分散を含んでいる。 このような非定常性は、構造、一般化、安全性の異なるモデルに対するディープラーニングの帰納バイアスにどのように影響しますか? 帰納的バイアスを研究するための実りあるテストベッドは、(固定された)トレーニングタスク分布の多様性に応じて、小さなトランスフォーマーが著しく異なる一般化パターンを表示する、文脈内線形回帰シーケンスモデリングである。 本稿では,学習時間にまたがるタスク分布の多様化効果を考察し,このような時間的多様性が記憶の一般化へのバイアスを増大させることを示した。

関連論文リスト

• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training [7.5041863920639456]
  機械学習システムは、データの望ましくない特徴を活用してバイアスを取得し、異なるサブポピュレーションの精度に影響を与えることが多い。 本稿では, ガウス混合モデルを用いて, 教師学生によるデータサブポピュレーションのモデル化におけるバイアスの進化について検討する。 この発見を公平性と堅牢性に適用することで、不均一なデータと突発的な特徴がバイアスを発生し増幅する方法について、いつ、どのように、どのように、どのようにして、そして、どのようにして、そのバイアスを増大させるかを説明します。
  論文  参考訳（メタデータ） (2024-05-28T15:50:10Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Generalized Representations Learning for Time Series Classification [28.230863650758447]
  時間的複雑性は時系列分類における未知の潜在分布に起因していると主張する。 本研究では,ジェスチャー認識,音声コマンド認識,ウェアラブルストレスと感情検出,センサによる人間の活動認識に関する実験を行う。
  論文  参考訳（メタデータ） (2022-09-15T03:36:31Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。