論文の概要: Context-Alignment: Activating and Enhancing LLM Capabilities in Time Series

• arxiv url: http://arxiv.org/abs/2501.03747v1
• Date: Tue, 07 Jan 2025 12:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:11.909482
• Title: Context-Alignment: Activating and Enhancing LLM Capabilities in Time Series
• Title（参考訳）: コンテキストアライメント: 時系列におけるLLM機能の活性化と強化
• Authors: Yuxiao Hu, Qian Li, Dongxiao Zhang, Jinyue Yan, Yuntian Chen,
• Abstract要約: 本研究では,Large Language Models (LLMs) に習熟した言語環境において,時系列(TS)データを言語成分と整合させるコンテキストアライメントを提案する。 このようなコンテキストレベルのアライメントは、DSCA-GNN(Dual-Scale Context-Alignment GNN)によって達成される構造的アライメントと論理的アライメントを含む。 大規模な実験は、特に少数ショットおよびゼロショット予測において、DeCAの有効性とタスク間のコンテキストアライメントの重要性を示している。
• 参考スコア（独自算出の注目度）: 3.453940014682793
• License:
• Abstract: Recently, leveraging pre-trained Large Language Models (LLMs) for time series (TS) tasks has gained increasing attention, which involves activating and enhancing LLMs' capabilities. Many methods aim to activate LLMs' capabilities based on token-level alignment but overlook LLMs' inherent strength on natural language processing -- their deep understanding of linguistic logic and structure rather than superficial embedding processing. We propose Context-Alignment, a new paradigm that aligns TS with a linguistic component in the language environments familiar to LLMs to enable LLMs to contextualize and comprehend TS data, thereby activating their capabilities. Specifically, such context-level alignment comprises structural alignment and logical alignment, which is achieved by a Dual-Scale Context-Alignment GNNs (DSCA-GNNs) applied to TS-language multimodal inputs. Structural alignment utilizes dual-scale nodes to describe hierarchical structure in TS-language, enabling LLMs treat long TS data as a whole linguistic component while preserving intrinsic token features. Logical alignment uses directed edges to guide logical relationships, ensuring coherence in the contextual semantics. Demonstration examples prompt are employed to construct Demonstration Examples based Context-Alignment (DECA) following DSCA-GNNs framework. DECA can be flexibly and repeatedly integrated into various layers of pre-trained LLMs to improve awareness of logic and structure, thereby enhancing performance. Extensive experiments show the effectiveness of DECA and the importance of Context-Alignment across tasks, particularly in few-shot and zero-shot forecasting, confirming that Context-Alignment provide powerful prior knowledge on context.
• Abstract（参考訳）: 近年,LLM(Large Language Models)の時系列タスクへの活用が注目され,LCMの能力の活性化と向上が図られている。 多くの手法はトークンレベルのアライメントに基づいてLLMの機能を活性化することを目的としているが、LLMの自然言語処理に固有の強みを見落としている。 LLMに慣れ親しんだ言語環境において、TSを言語的要素と整合させる新しいパラダイムであるContext-Alignmentを提案する。 特に、このようなコンテキストレベルのアライメントは、TS言語のマルチモーダル入力に適用されたDual-Scale Context-Alignment GNN(DSCA-GNN)によって達成される構造的アライメントと論理的アライメントを含む。 構造アライメントは、TS言語で階層構造を記述するためにデュアルスケールノードを利用するため、LLMは固有のトークンの特徴を保ちながら、長いTSデータを言語コンポーネントとして扱うことができる。 論理的アライメントは、有向エッジを使用して論理的関係を導き、文脈意味論におけるコヒーレンスを確保する。 Demonstration Examples based Context-Alignment (DECA) は DSCA-GNN フレームワークに従って構築される。 DECAは、柔軟かつ反復的に事前学習されたLLMの様々な層に統合され、論理や構造に対する認識が向上し、性能が向上する。 広範囲にわたる実験は、DeCAの有効性とタスク間におけるコンテキストアライメントの重要性を示し、特に少数ショットとゼロショットの予測において、コンテキストアライメントがコンテキストに関する強力な事前知識を提供することを確認した。

関連論文リスト

• LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [60.02145113467427]
  この作業では、大規模な言語モデルと事前訓練されたCLIPビジュアルエンコーダを統合する、微調整のアプローチを導入している。 LLMの自己回帰的性質の課題に対処するために,キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラッシブ・ラーニング・フレームワークを提案する。 提案手法は,様々な下流タスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-11-07T18:59:16Z)
• Vector-ICL: In-context Learning with Continuous Vector Representations [75.96920867382859]
  大規模言語モデル (LLM) はテキストデータに顕著なコンテキスト内学習能力を示す。 ブラックボックス事前学習エンコーダから得られる様々な領域から連続ベクトルに拡張できるかどうかを検討する。 特に,汎用言語モデリング目的のプロジェクタを事前学習することで,Vector-ICLの実現が期待できる。
  論文  参考訳（メタデータ） (2024-10-08T02:25:38Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Integrating Large Language Models with Graphical Session-Based Recommendation [8.086277931395212]
  LLMGRというグラフィカルなセッションベースレコメンデーションを備えた大規模言語モデルを導入する。 このフレームワークは、SBRタスクのためのLLMとグラフニューラルネットワーク(GNN)を調和して統合することでギャップを埋める。 この統合は、自然言語理解におけるLLMとリレーショナルデータ処理におけるGNNの相補的な強みを活用することを目指している。
  論文  参考訳（メタデータ） (2024-02-26T12:55:51Z)
• Structure Guided Prompt: Instructing Large Language Model in Multi-Step Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
  本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。 実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T22:56:23Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。