論文の概要: Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

• arxiv url: http://arxiv.org/abs/2601.16651v1
• Date: Fri, 23 Jan 2026 11:15:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.650754
• Title: Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations
• Title（参考訳）: LLMトレーニングデータ記述のための低次元ベクトルの評価
• Authors: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth,
• Abstract要約: 本稿では,モデルコンポーネントの小さな,アーキテクチャ的に情報を得たサブセットを選択するか,あるいは全勾配を低次元空間に投影することにより,低次元表現を創出することが望ましいかを検討する。 本研究では, 学習課題に必要な学習データの影響を, 全体勾配やランダムな投影よりも効率的に把握できることを示す。
• 参考スコア（独自算出の注目度）: 1.6702608045980016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based methods for instance-based explanation for large language models (LLMs) are hindered by the immense dimensionality of model gradients. In practice, influence estimation is restricted to a subset of model parameters to make computation tractable, but this subset is often chosen ad hoc and rarely justified by systematic evaluation. This paper investigates if it is better to create low-dimensional representations by selecting a small, architecturally informed subset of model components or by projecting the full gradients into a lower-dimensional space. Using a novel benchmark, we show that a greedily selected subset of components captures the information about training data influence needed for a retrieval task more effectively than either the full gradient or random projection. We further find that this approach is more computationally efficient than random projection, demonstrating that targeted component selection is a practical strategy for making instance-based explanations of large models more computationally feasible.
• Abstract（参考訳）: 大規模言語モデル(LLM)のインスタンスベース説明のための勾配に基づく手法は、モデル勾配の大きな次元性によって妨げられる。 実際には、インフルエンス推定は計算を扱いやすくするためにモデルパラメータのサブセットに制限されるが、このサブセットはしばしばアドホックに選ばれ、体系的な評価によって正当化されることは滅多にない。 本稿では,モデルコンポーネントの小さな,アーキテクチャ的に情報を得たサブセットを選択するか,あるいは全勾配を低次元空間に投影することにより,低次元表現を創出することが望ましいかを検討する。 新たなベンチマークを用いて, 学習作業に必要なトレーニングデータの影響に関する情報を, 完全勾配やランダム投影よりも効率的に取得できることを示す。 さらに、このアプローチはランダムなプロジェクションよりも計算効率が良く、ターゲットコンポーネントの選択が大規模モデルのインスタンスベースの説明をより計算的に実現可能なものにするための実践的戦略であることを示す。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [4.051523221722475]
  高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。 我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。 観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。