論文の概要: TiMoE: Time-Aware Mixture of Language Experts

• arxiv url: http://arxiv.org/abs/2508.08827v1
• Date: Tue, 12 Aug 2025 10:36:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.392169
• Title: TiMoE: Time-Aware Mixture of Language Experts
• Title（参考訳）: TiMoE: 言語エキスパートの時間認識混合
• Authors: Robin Faro, Dongyang Fan, Tamar Alphaidze, Martin Jaggi,
• Abstract要約: 大規模言語モデル(LLM)は通常、Webの固定スナップショットに基づいてトレーニングされる。 我々は,2013-2024コーパスの2年スライスを分割し,TiMoEで組み合わせることで,GPTスタイルのエキスパートセットをスクラッチから事前学習することで,この問題に対処する。 推論時にTiMoEは、クエリタイムスタンプ後にトレーニングウィンドウが終了するすべての専門家をマスクし、残りのログ確率を共有スペースにマージする。
• 参考スコア（独自算出の注目度）: 30.83135825881131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are typically trained on fixed snapshots of the web, which means that their knowledge becomes stale and their predictions risk temporal leakage: relying on information that lies in the future relative to a query. We tackle this problem by pre-training from scratch a set of GPT-style experts on disjoint two-year slices of a 2013-2024 corpus and combining them through TiMoE, a Time-aware Mixture of Language Experts. At inference time, TiMoE masks all experts whose training window ends after the query timestamp and merges the remaining log-probabilities in a shared space, guaranteeing strict causal validity while retaining the breadth of multi-period knowledge. We also release TSQA, a 10k-question benchmark whose alternatives are explicitly labelled as past, future or irrelevant, allowing fine-grained measurement of temporal hallucinations. Experiments on eight standard NLP tasks plus TSQA show that a co-adapted TiMoE variant matches or exceeds the best single-period expert and cuts future-knowledge errors by up to 15%. Our results demonstrate that modular, time-segmented pre-training paired with causal routing is a simple yet effective path toward LLMs that stay chronologically grounded without sacrificing general performance much. We open source our code at TiMoE (Github): https://github.com/epfml/TiMoE
• Abstract（参考訳）: 大規模な言語モデル(LLM)は通常、Webの固定スナップショットに基づいてトレーニングされる。 我々は,2013-2024 コーパスの2年スライスを GPT スタイルのエキスパートのセットでスクラッチから事前学習し,それを TiMoE と組み合わせることで,この問題に対処する。 推論時にTiMoEは、クエリタイムスタンプの後にトレーニングウィンドウが終了するすべての専門家をマスクし、共有スペース内の残りのログ確率をマージし、マルチ周期知識の幅を維持しながら厳密な因果妥当性を保証する。 また,過去,未来,あるいは無関係と明確にラベル付けされた10kクエストベンチマークであるTSQAもリリースし,時間的幻覚の詳細な測定を可能にした。 8つの標準NLPタスクとTSQAの実験により、共適応のTiMoE変種は最高の単一期間の専門家と一致し、将来の知識エラーを最大15%削減することを示した。 以上の結果から,時間的・時間的な事前学習と因果ルーティングの併用は,汎用性能を犠牲にすることなく,時系列的に現地に留まるLLMに対して,単純かつ効果的な経路であることが示唆された。 TiMoE (Github): https://github.com/epfml/TiMoE

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• Time2Lang: Bridging Time-Series Foundation Models and Large Language Models for Health Sensing Beyond Prompting [3.2688127177376227]
  大規模言語モデル(LLM)は、行動センシングデータと組み合わせることで、健康上の応用を約束する。 従来のアプローチでは、センサデータをテキストプロンプトに変換するが、このプロセスはエラーを起こしやすく、計算コストが高く、ドメインの専門知識を必要とする。 本稿では, TFM 出力を中間テキスト変換なしで LLM 表現に直接マッピングするフレームワーク Time2Lang を提案する。
  論文  参考訳（メタデータ） (2025-02-11T14:58:54Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context Learning [23.971206470486468]
  本稿では,関連する歴史的事実をプロンプトに変換し,トークン確率を用いてランキング予測を生成する枠組みを提案する。 驚いたことに、LLMは最先端のTKGモデルと同等に動作している。 また,エンティティ/リレーション名の代わりに数値指標を用いると,性能に悪影響を及ぼさないことも判明した。
  論文  参考訳（メタデータ） (2023-05-17T23:50:28Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。