論文の概要: Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework

• arxiv url: http://arxiv.org/abs/2509.21241v1
• Date: Thu, 25 Sep 2025 14:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.987204
• Title: Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
• Title（参考訳）: ファクトファクトリによる微調整LDMの解説 知識グラフ駆動フレームワーク
• Authors: Yucheng Wang, Ziyang Chen, Md Faisal Kabir,
• Abstract要約: Low-Rank Adaptation (LoRA)は、大きな言語モデルでドメイン固有の知識を驚くほど効率よく取得することを可能にする。 本研究は,知識グラフを基盤としたファクトファクトを介し,微調整 LLM を記述した新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.533352973355013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of Low-Rank Adaptation (LoRA) has enabled large language models (LLMs) to acquire domain-specific knowledge with remarkable efficiency. However, understanding how such a fine-tuning mechanism alters a model's structural reasoning and semantic behavior remains an open challenge. This work introduces a novel framework that explains fine-tuned LLMs via counterfactuals grounded in knowledge graphs. Specifically, we construct BioToolKG, a domain-specific heterogeneous knowledge graph in bioinformatics tools and design a counterfactual-based fine-tuned LLMs explainer (CFFTLLMExplainer) that learns soft masks over graph nodes and edges to generate minimal structural perturbations that induce maximum semantic divergence. Our method jointly optimizes structural sparsity and semantic divergence while enforcing interpretability preserving constraints such as entropy regularization and edge smoothness. We apply this framework to a fine-tuned LLaMA-based LLM and reveal that counterfactual masking exposes the model's structural dependencies and aligns with LoRA-induced parameter shifts. This work provides new insights into the internal mechanisms of fine-tuned LLMs and highlights counterfactual graphs as a potential tool for interpretable AI.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)が広く採用され、大きな言語モデル(LLM)がドメイン固有の知識を驚くほど効率的に取得できるようになった。 しかし、そのような微調整機構がモデルの構造的推論や意味的な振る舞いをどう変えるかを理解することは、依然としてオープンな課題である。 本研究は,知識グラフを基盤としたファクトファクトを介し,微調整 LLM を記述した新しいフレームワークを提案する。 具体的には、バイオインフォマティクスツールにおけるドメイン固有のヘテロジニアス知識グラフであるBioToolKGを構築し、グラフノードやエッジ上でソフトマスクを学習し、最小限の構造的摂動を発生させ、最大セマンティックなばらつきを誘発する反ファクトベースの微調整LDMの説明器(CFFTLLMExplainer)を設計する。 提案手法は,エントロピー正則化やエッジの滑らかさといった制約を保ちながら,構造的疎度と意味的ばらつきを協調的に最適化する。 この枠組みをLLaMAをベースとした微調整LLMに適用し,モデルの構造的依存性を明らかにし,LoRAが引き起こすパラメータシフトと整合性を示す。 この研究は、微調整されたLLMの内部メカニズムに関する新たな洞察を提供し、AIを解釈可能なツールとして反ファクトグラフを強調する。

関連論文リスト

• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Quantizing Text-attributed Graphs for Semantic-Structural Integration [6.721504414917793]
  テキスト分散グラフ(TAG)は、様々な領域にわたる複雑な関係をモデル化するための強力な表現として登場した。 大規模言語モデル(LLM)の台頭に伴い、グラフ学習に彼らの能力を活用することへの関心が高まっている。 凍結したコードブックを用いて,グラフ構造情報を離散トークンに直接量子化する,新たな自己教師型フレームワークSTAGを提案する。
  論文  参考訳（メタデータ） (2025-07-20T09:18:02Z)
• SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation [50.277959544420455]
  SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。 変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
  論文  参考訳（メタデータ） (2025-07-15T18:12:57Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。