論文の概要: SPEX: Scaling Feature Interaction Explanations for LLMs

• arxiv url: http://arxiv.org/abs/2502.13870v1
• Date: Wed, 19 Feb 2025 16:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:56.917638
• Title: SPEX: Scaling Feature Interaction Explanations for LLMs
• Title（参考訳）: SPEX:LLMのスケーリング機能インタラクション記述
• Authors: Justin Singh Kang, Landon Butler, Abhineet Agarwal, Yigit Efe Erginbas, Ramtin Pedarsani, Kannan Ramchandran, Bin Yu,
• Abstract要約: Spectral Explainer (SPEX) は、モデルに依存しない相互作用帰属アルゴリズムである。 大規模な入力では、SPEXは限界属性法を最大20%上回っている。 私たちのデータセットの1つであるHotpotQAでは、SPEXは人間のアノテーションと整合したインタラクションを提供します。
• 参考スコア（独自算出の注目度）: 22.651273612351346
• License:
• Abstract: Large language models (LLMs) have revolutionized machine learning due to their ability to capture complex interactions between input features. Popular post-hoc explanation methods like SHAP provide marginal feature attributions, while their extensions to interaction importances only scale to small input lengths ($\approx 20$). We propose Spectral Explainer (SPEX), a model-agnostic interaction attribution algorithm that efficiently scales to large input lengths ($\approx 1000)$. SPEX exploits underlying natural sparsity among interactions -- common in real-world data -- and applies a sparse Fourier transform using a channel decoding algorithm to efficiently identify important interactions. We perform experiments across three difficult long-context datasets that require LLMs to utilize interactions between inputs to complete the task. For large inputs, SPEX outperforms marginal attribution methods by up to 20% in terms of faithfully reconstructing LLM outputs. Further, SPEX successfully identifies key features and interactions that strongly influence model output. For one of our datasets, HotpotQA, SPEX provides interactions that align with human annotations. Finally, we use our model-agnostic approach to generate explanations to demonstrate abstract reasoning in closed-source LLMs (GPT-4o mini) and compositional reasoning in vision-language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、入力機能間の複雑な相互作用をキャプチャする能力によって、機械学習に革命をもたらした。 SHAPのような一般的なポストホックな説明法は、限界的な特徴属性を提供するが、相互作用の重要度への拡張は、小さな入力長までしかスケールしない(\approx 20$)。 本研究では,モデルに依存しない対話属性アルゴリズムであるSpectral Explainer(SPEX)を提案する。 SPEXは、実際のデータに共通する相互作用間の自然な疎結合を利用して、チャンネル復号アルゴリズムを用いてスパースフーリエ変換を適用して、重要な相互作用を効率的に識別する。 我々は、LLMがタスクを完了させるために入力間の相互作用を利用する必要がある3つの難しい長文データセットに対して実験を行う。 大規模な入力では、SPEX は LLM 出力を忠実に再構成する点において、限界属性法を最大20%向上させる。 さらに、SPEXはモデル出力に強く影響を及ぼす重要な特徴と相互作用をうまく識別する。 私たちのデータセットの1つであるHotpotQAでは、SPEXは人間のアノテーションと整合したインタラクションを提供します。 最後に、我々のモデルに依存しないアプローチを用いて、閉オープンソースLCM(GPT-4o mini)における抽象的推論と、視覚言語モデルにおける構成的推論を例示する。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Probing Ranking LLMs: Mechanistic Interpretability in Information Retrieval [22.875174888476295]
  我々は最先端の微調整型変圧器ネットワークの動作について検討する。 我々のアプローチは、LLM内のニューロンの探索に基づく層間層解析である。 ネットワークのアクティベーションの中で、既知の人間工学的・意味的な特徴の個人またはグループを特定する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• The Labyrinth of Links: Navigating the Associative Maze of Multi-modal LLMs [42.72336063802124]
  MLLM(Multi-modal Large Language Models)は印象的な能力を示す。 MLLMの欠陥の多くは、人間の知性(例えば$textite.g.$)と比較して見出されている。 観察と事前の実践記憶をリンクする人間の基本的な能力であるtextbfassociation$。
  論文  参考訳（メタデータ） (2024-10-02T10:58:54Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MMRel: A Relation Understanding Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、オブジェクト間の関係に関する大規模で高品質で多様なデータを特徴付けるベンチマークである。 MMRelは、関係理解に基づくMLLMの評価や、関係理解能力を高めるための微調整MLLMに最適である。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation [58.04939553630209]
  現実世界のシステムでは、ほとんどのユーザーはほんの一握りのアイテムしか扱わないが、ほとんどのアイテムは滅多に消費されない。 これら2つの課題は、ロングテールユーザーとロングテールアイテムの課題として知られ、しばしば既存のシークエンシャルレコメンデーションシステムに困難をもたらす。 本稿では,これらの課題に対処するため,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T07:24:42Z)
• AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs [20.772266479533776]
  AXOLOTLはタスクやモデル間で不可知的に動作する新しい後処理フレームワークである。 バイアスを識別し、解像度を提案し、モデルにアウトプットを自己バイアスさせる。 このアプローチは計算コストを最小化し、モデル性能を保存する。
  論文  参考訳（メタデータ） (2024-03-01T00:02:37Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。