論文の概要: Relational Knowledge Distillation Using Fine-tuned Function Vectors

• arxiv url: http://arxiv.org/abs/2601.08169v1
• Date: Tue, 13 Jan 2026 03:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.034986
• Title: Relational Knowledge Distillation Using Fine-tuned Function Vectors
• Title（参考訳）: 微調整関数ベクトルを用いた関係知識蒸留
• Authors: Andrea Kang, Yingnian Wu, Hongjing Lu,
• Abstract要約: 概念間の関係を表現することは、世界を理解するためのインテリジェントシステムにとって、中核的な前提条件である。 因果媒介分析を用いた最近の研究は、少量のアテンションヘッドが、文脈内学習におけるタスク表現を符号化していることを示している。 少数の例のみを持つ微調整関数ベクトルは、関係ベースの単語補完タスクにおいてより良い性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 36.277498272417965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representing relations between concepts is a core prerequisite for intelligent systems to make sense of the world. Recent work using causal mediation analysis has shown that a small set of attention heads encodes task representation in in-context learning, captured in a compact representation known as the function vector. We show that fine-tuning function vectors with only a small set of examples (about 20 word pairs) yields better performance on relation-based word-completion tasks than using the original vectors derived from causal mediation analysis. These improvements hold for both small and large language models. Moreover, the fine-tuned function vectors yield improved decoding performance for relation words and show stronger alignment with human similarity judgments of semantic relations. Next, we introduce the composite function vector - a weighted combination of fine-tuned function vectors - to extract relational knowledge and support analogical reasoning. At inference time, inserting this composite vector into LLM activations markedly enhances performance on challenging analogy problems drawn from cognitive science and SAT benchmarks. Our results highlight the potential of activation patching as a controllable mechanism for encoding and manipulating relational knowledge, advancing both the interpretability and reasoning capabilities of large language models.
• Abstract（参考訳）: 概念間の関係を表現することは、世界を理解するためのインテリジェントシステムにとって、中核的な前提条件である。 因果媒介分析を用いた最近の研究は、関数ベクトルと呼ばれるコンパクトな表現で捉えた、文脈内学習におけるタスク表現を、小さな注意ヘッドが符号化していることを示している。 少数の例(約20ワードペア)しか持たない微調整関数ベクトルは、因果媒介分析から派生した元のベクトルよりも、関係に基づく単語補完タスクの性能が向上することを示す。 これらの改善は、小さな言語モデルと大きな言語モデルの両方に当てはまる。 さらに、微調整された関数ベクトルにより、関係語に対する復号性能が向上し、意味関係の人間類似性判定とより強い整合性を示す。 次に, 合成関数ベクトル(微調整関数ベクトルの重み付け組合せ)を導入し, 関係知識を抽出し, 類似推論を支援する。 この合成ベクトルをLSMアクティベーションに挿入すると、認知科学やSATベンチマークから引き出された類似問題に対する性能が著しく向上する。 本研究は,関係知識を符号化し,操作するための制御可能なメカニズムとして,アクティベーションパッチの可能性を強調し,大規模言語モデルの解釈可能性と推論能力の両立を図った。

関連論文リスト

• Multimodal Function Vectors for Spatial Relations [33.20813174218433]
  視覚言語モデルOpenFlamingo-4Bの注意点のサブセットが空間関係の表現を伝達する役割を担っていることを示す。 これらのアテンションヘッドの活性化は、関数ベクトルと呼ばれ、リレーショナルタスクにおけるLMMのパフォーマンスを変更するために抽出し、操作することができる。
  論文  参考訳（メタデータ） (2025-10-02T19:55:56Z)
• RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing [1.3049516752695616]
  本研究では,物体レベルの特徴と高次元空間における関係表現を組み合わせたニューロベクトルシンボルアーキテクチャRESOLVEを提案する。 この設計を活用することで、このモデルは低計算レイテンシとメモリ効率の両方を達成する。
  論文  参考訳（メタデータ） (2024-11-13T02:17:03Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。