論文の概要: Functional Abstraction of Knowledge Recall in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.14496v1
• Date: Sun, 20 Apr 2025 05:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 00:14:10.914158
• Title: Functional Abstraction of Knowledge Recall in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識リコールの機能的抽象化
• Authors: Zijian Wang, Chang Xu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)の知識リコール機構について,機能構造に抽象化することで検討する。 そこで本研究では,知識リコールの間,モデル内の隠れアクティベーション空間が暗黙的に関数実行プロセスを必要とすることを提案する。
• 参考スコア（独自算出の注目度）: 20.082244529609707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformer large language models (LLMs) demonstrate strong knowledge recall capabilities. This paper investigates the knowledge recall mechanism in LLMs by abstracting it into a functional structure. We propose that during knowledge recall, the model's hidden activation space implicitly entails a function execution process where specific activation vectors align with functional components (Input argument, Function body, and Return values). Specifically, activation vectors of relation-related tokens define a mapping function from subjects to objects, with subject-related token activations serving as input arguments and object-related token activations as return values. For experimental verification, we first design a patching-based knowledge-scoring algorithm to identify knowledge-aware activation vectors as independent functional components. Then, we conduct counter-knowledge testing to examine the independent functional effects of each component on knowledge recall outcomes. From this functional perspective, we improve the contextual knowledge editing approach augmented by activation patching. By rewriting incoherent activations in context, we enable improved short-term memory retention for new knowledge prompting.
• Abstract（参考訳）: 事前訓練されたトランスフォーマー大言語モデル(LLM)は、強力な知識リコール能力を示す。 本稿では,LLMの知識リコール機構を機能構造に抽象化することによって検討する。 知識リコール中、モデルの隠れアクティベーション空間は、特定のアクティベーションベクトルが機能コンポーネント(入力引数、関数本体、返却値)と整合する関数実行プロセスを暗黙的に含むことを提案する。 具体的には、関係関連トークンのアクティベーションベクトルが対象から対象へのマッピング関数を定義し、対象関連トークンアクティベーションが入力引数として機能し、オブジェクト関連トークンアクティベーションが戻り値として機能する。 実験的な検証のために,我々はまず,知識を意識したアクティベーションベクトルを独立機能成分として識別するパッチベースの知識スコアリングアルゴリズムを設計する。 そこで我々は,各コンポーネントの独立的機能的効果が知識リコール結果に与える影響を調べるために,反知識テストを実施している。 この機能の観点から,アクティベーションパッチによって強化された文脈知識編集手法を改良する。 コンテキスト内で不整合アクティベーションを書き換えることで、新しい知識の促進のための短期記憶保持の改善を可能にする。

関連論文リスト

• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Leveraging Self-Supervised Vision Transformers for Segmentation-based Transfer Function Design [11.22246304724448]
  本稿では,事前学習した視覚変換器の特徴抽出機能を活用することで,ボリュームレンダリングのための転送関数を定義する手法を提案する。 提案手法では,モデルのトレーニングを必要とせず,高速な推論が可能であり,ボリュームデータの対話的な探索が可能となる。
  論文  参考訳（メタデータ） (2023-09-04T07:29:51Z)
• KERM: Knowledge Enhanced Reasoning for Vision-and-Language Navigation [61.08389704326803]
  VLN(Vision-and-Language Navigation)は、実シーンにおける自然言語命令に続く遠隔地への移動を可能にするタスクである。 以前のアプローチのほとんどは、ナビゲート可能な候補を表現するために、機能全体やオブジェクト中心の機能を利用している。 本稿では,知識を活用したエージェントナビゲーション能力向上のための知識強化推論モデル(KERM)を提案する。
  論文  参考訳（メタデータ） (2023-03-28T08:00:46Z)
• Feedback Coding for Active Learning [15.239252118069762]
  アクティブなサンプル選択タスクに最適なトランスポートベースのフィードバックコーディングスキームを開発しています。 各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を示す。
  論文  参考訳（メタデータ） (2021-02-28T23:00:34Z)
• A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
  本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。 完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-23T20:33:13Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations [103.00383924074585]
  視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。 変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。 RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
  論文  参考訳（メタデータ） (2020-09-10T16:15:09Z)
• AReLU: Attention-based Rectified Linear Unit [15.404893421951837]
  本稿では,学習可能なアクティベーション関数を要素的注意機構で定式化する手法を提案する。 各ネットワーク層において,アクティベーション前機能マップの要素単位の符号に基づくアテンションマップを学習するアテンションモジュールを考案する。 注意モジュールは基本的に、ReLUをアイデンティティ変換と見なすことができるので、入力の活性化部分の要素ワイズ残基を学習する。
  論文  参考訳（メタデータ） (2020-06-24T16:39:16Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)
• Options of Interest: Temporal Abstraction with Interest Functions [58.30081828754683]
  一般関数近似に適した開始集合の一般化を、オプションに関連付けられた興味関数を定義することによって提供する。 我々は、関心関数に対する勾配に基づく学習アルゴリズムを導出し、新たな関心選択批判的アーキテクチャを創出する。
  論文  参考訳（メタデータ） (2020-01-01T21:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。