論文の概要: Enhancing Time Series Forecasting via Logic-Inspired Regularization

• arxiv url: http://arxiv.org/abs/2503.06867v1
• Date: Mon, 10 Mar 2025 02:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:19.729084
• Title: Enhancing Time Series Forecasting via Logic-Inspired Regularization
• Title（参考訳）: 論理型正規化による時系列予測の強化
• Authors: Jianqi Zhang, Jingyao Wang, Xingchen Shen, Wenwen Qiang,
• Abstract要約: トークン依存性の有効性は,予測シナリオによって異なることがわかった。 本稿では、より少ないがより効果的な依存関係を使用するためのプラグイン・アンド・プレイ方式である注意論理正規化(Attn-L-Reg)を提案する。
• 参考スコア（独自算出の注目度）: 6.418780158056553
• License:
• Abstract: Time series forecasting (TSF) plays a crucial role in many applications. Transformer-based methods are one of the mainstream techniques for TSF. Existing methods treat all token dependencies equally. However, we find that the effectiveness of token dependencies varies across different forecasting scenarios, and existing methods ignore these differences, which affects their performance. This raises two issues: (1) What are effective token dependencies? (2) How can we learn effective dependencies? From a logical perspective, we align Transformer-based TSF methods with the logical framework and define effective token dependencies as those that ensure the tokens as atomic formulas (Issue 1). We then align the learning process of Transformer methods with the process of obtaining atomic formulas in logic, which inspires us to design a method for learning these effective dependencies (Issue 2). Specifically, we propose Attention Logic Regularization (Attn-L-Reg), a plug-and-play method that guides the model to use fewer but more effective dependencies by making the attention map sparse, thereby ensuring the tokens as atomic formulas and improving prediction performance. Extensive experiments and theoretical analysis confirm the effectiveness of Attn-L-Reg.
• Abstract（参考訳）: 時系列予測(TSF)は多くのアプリケーションにおいて重要な役割を果たす。 Transformer ベースの手法は TSF の主流技術の一つである。 既存のメソッドはすべてのトークン依存を平等に扱う。 しかし、トークン依存性の有効性は予測シナリオによって異なり、既存のメソッドはこれらの違いを無視し、それらのパフォーマンスに影響する。 1) 効果的なトークン依存とは何か? (2) 効果的な依存関係をどうやって学べばいいのか? 論理的な観点からは、TransformerベースのTSFメソッドを論理的なフレームワークと整合させ、トークンを原子式として保証するものとして効果的なトークン依存性を定義する(Issue 1)。 次に、トランスフォーマー法の学習プロセスと、論理学における原子式を得るプロセスとを一致させ、これらの効果的な依存関係を学習する方法を設計するきっかけとなる(Issue 2)。 具体的には,アテンション・ロジック・正規化(Attn-L-Reg)を提案する。アテンションマップをスパース化し,トークンをアトミックな公式として保証し,予測性能を向上させることにより,より少ないが効果的な依存をモデルに誘導するプラグイン・アンド・プレイ法である。 大規模な実験と理論解析により、Attn-L-Regの有効性が確認された。

関連論文リスト

• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 常識推論,自然言語理解,自然言語生成を対象とする3つのベンチマークの評価を通じて,JoLAが既存の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• Pruning All-Rounder: Rethinking and Improving Inference Efficiency for Large Vision Language Models [42.124670377223175]
  我々は Pruning All-Rounder (PAR) と呼ばれる推論加速のための新しいフレームワークを提案する。 自己教師付き学習方式により,提案手法は性能と効率のバランスが良好である。特にPARは柔軟であり,複数のプルーニングバージョンを提供し,様々なプルーニングシナリオに対処する。
  論文  参考訳（メタデータ） (2024-12-09T13:02:35Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• On the Effectiveness of LayerNorm Tuning for Continual Learning in Vision Transformers [47.77328392236625]
  最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。 そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。 提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-08-18T15:11:16Z)
• Efficient Transformer-based 3D Object Detection with Dynamic Token Halting [19.88560740238657]
  本稿では,異なる層でトークンを動的に停止させることにより,トランスフォーマーを用いた3次元物体検出器の高速化に有効な手法を提案する。 トークンの停止は微分不可能な操作であるが,本手法はエンドツーエンドの学習を可能にする。 我々のフレームワークでは、停止トークンを再利用して、簡単なトークンリサイクル機構を通じてモデルの予測を知らせることができます。
  論文  参考訳（メタデータ） (2023-03-09T07:26:49Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• An Advance on Variable Elimination with Applications to Tensor-Based Computation [11.358487655918676]
  本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。 結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-21T14:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。