論文の概要: Temporal Alignment of Time Sensitive Facts with Activation Engineering

• arxiv url: http://arxiv.org/abs/2505.14158v1
• Date: Tue, 20 May 2025 10:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.050853
• Title: Temporal Alignment of Time Sensitive Facts with Activation Engineering
• Title（参考訳）: アクティベーション・エンジニアリングによる時間感作の時間的アライメント
• Authors: Sanjay Govindan, Maurice Pagnucco, Yang Song,
• Abstract要約: 大規模言語モデル(LLM)は、複数のドメインと時間にまたがる多様かつしばしば矛盾する知識に基づいて訓練される。 LLMが適切な応答を生成することは、関連性と正確性を維持するために不可欠である。 我々は,LCMを時間的に整列させて,トレーニングやデータセット作成なしに現実的リコールを改善する手法として,アクティベーションエンジニアリングを探求する。
• 参考スコア（独自算出の注目度）: 13.306125510884563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are trained on diverse and often conflicting knowledge spanning multiple domains and time periods. Some of this knowledge is only valid within specific temporal contexts, such as answering the question, "Who is the President of the United States in 2022?" Ensuring LLMs generate time appropriate responses is crucial for maintaining relevance and accuracy. In this work we explore activation engineering as a method for temporally aligning LLMs to improve factual recall without any training or dataset creation. In this research we explore an activation engineering technique to ground three versions of LLaMA 2 to specific points in time and examine the effects of varying injection layers and prompting strategies. Our experiments demonstrate up to a 44% and 16% improvement in relative and explicit prompting respectively, achieving comparable performance to the fine-tuning method proposed by Zhao et al. (2024) . Notably, our approach achieves similar results to the fine-tuning baseline while being significantly more computationally efficient and requiring no pre-aligned datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複数のドメインと時間にまたがる多様かつしばしば矛盾する知識に基づいて訓練される。 この知識のいくつかは特定の時間的文脈でのみ有効であり、例えば「2022年のアメリカ合衆国大統領は誰なのか?」という問いに答える。 LLMが適切な応答を生成することは、関連性と正確性を維持するために不可欠である。 本研究では,LCMの時間的整合化手法としてアクティベーションエンジニアリングを探求し,トレーニングやデータセット作成を伴わずに現実的リコールを改善する。 本研究では,LLaMA 2の3つのバージョンを特定の点に時間的に固定する活性化工学手法について検討し,異なる射出層の影響について検討し,戦略を推し進める。 実験の結果,Zhao et al (2024) が提案した微調整法に比較して,相対的および明示的なプロンプトの44%と16%の改善が得られた。 特に,本手法は微調整ベースラインに類似した結果が得られるが,計算効率は著しく向上し,事前整列データセットは不要である。

関連論文リスト

• TransientTables: Evaluating LLMs' Reasoning on Temporally Evolving Semi-structured Tables [47.85408648193376]
  大規模言語モデル(LLM)は通常、静的データセットでトレーニングされ、効果的な時間的推論を行う能力を制限する。 本稿では,14,000以上のテーブルから3,971の質問を抽出し,複数の期間にわたって1,238のエンティティを対象とするTransIENTTABLESデータセットを提案する。
  論文  参考訳（メタデータ） (2025-04-02T16:34:43Z)
• Detecting Knowledge Boundary of Vision Large Language Models by Sampling-Based Inference [78.08901120841833]
  視覚大言語モデル(VLLM)の知識境界を検出する手法を提案する。 本稿では,VLLMの知識境界の表現に成功し,性能の維持や改善を図りながら不差別な検索を抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-02-25T09:32:08Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Time Awareness in Large Language Models: Benchmarking Fact Recall Across Time [0.0]
  現実のシナリオでは、回答の正しさはしばしば時間的文脈に結びついている。 2018年から2024年にかけて8000以上のイベントにまたがる新しいフレームワークとデータセットを提示します。 私たちの仕事は、タイムアウェアな言語モデルを進めるための重要なステップを提供します。
  論文  参考訳（メタデータ） (2024-09-20T08:57:20Z)
• LLM-based Knowledge Pruning for Time Series Data Analytics on Edge-computing Devices [23.18319883190927]
  時系列学習のための新しいパラダイムであるKP(Knowledge Pruning)を提案する。 他の方法とは異なり、我々のKPは冗長な知識を掘り起こし、関連する知識をターゲットモデルにのみ蒸留することを目的としています。 提案したKPにより、軽量ネットワークは適切な知識を効果的に学習し、良好な性能を低コストで達成することができる。
  論文  参考訳（メタデータ） (2024-06-13T02:51:18Z)
• MetaReflection: Learning Instructions for Language Agents using Past Reflections [11.028256182234017]
  本稿では,言語エージェントの性能を向上させる新しいオフライン強化学習手法であるMetaReflectionを紹介する。 本稿では, 複雑な論理的推論, バイオメディカルセマンティックな類似性, オープンワールド質問応答, 脆弱性検出など, 複数領域にわたる評価によるメタリフレクションの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-13T10:51:43Z)
• DyKnow: Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
  本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。 筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。 以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T18:08:59Z)
• Set the Clock: Temporal Alignment of Pretrained Language Models [91.82475116870367]
  言語モデル(LM)は、多くの時点から派生したWebテキストで訓練されており、一般には、明確な時間的根拠は持たない。 本研究では、事前訓練されたLMの時間的カオスを調査し、その内部知識を目標時間に合わせるための様々な手法を探索する。
  論文  参考訳（メタデータ） (2024-02-26T18:10:56Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。