論文の概要: RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution

• arxiv url: http://arxiv.org/abs/2602.06275v1
• Date: Fri, 06 Feb 2026 00:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.163991
• Title: RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution
• Title（参考訳）: RoPE-LIME: RoPE-Space Locality + Sparse-K Smpling for Efficient LLM Attribution
• Authors: Isaac Picov, Ritesh Goru,
• Abstract要約: 我々は、説明から推論を分離するgSMILEのオープンソース拡張であるRoPE-LIMEを紹介する。 この結果から,RoPE-LIMEは,余分なサンプリングよりも有意な属性が得られ,gSMILEよりも優れたことが示唆された。
• 参考スコア（独自算出の注目度）: 0.19336815376402716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explaining closed-source LLM outputs is challenging because API access prevents gradient-based attribution, while perturbation methods are costly and noisy when they depend on regenerated text. We introduce RoPE-LIME, an open-source extension of gSMILE that decouples reasoning from explanation: given a fixed output from a closed model, a smaller open-source surrogate computes token-level attributions from probability-based objectives (negative log-likelihood and divergence targets) under input perturbations. RoPE-LIME incorporates (i) a locality kernel based on Relaxed Word Mover's Distance computed in RoPE embedding space for stable similarity under masking, and (ii) Sparse-K sampling, an efficient perturbation strategy that improves interaction coverage under limited budgets. Experiments on HotpotQA (sentence features) and a hand-labeled MMLU subset (word features) show that RoPE-LIME produces more informative attributions than leave-one-out sampling and improves over gSMILE while substantially reducing closed-model API calls.
• Abstract（参考訳）: APIアクセスは勾配に基づく帰属を防ぎ、摂動法は再生テキストに依存すると費用がかかりうるため、クローズドソースのLCM出力を説明することは困難である。 我々は,gSMILEのオープンソース拡張であるRoPE-LIMEを紹介した。 クローズドモデルからの固定出力が与えられた場合,より小さなオープンソースサロゲートは,入力摂動下での確率に基づく目的(負の対数や発散目標)からトークンレベルの属性を計算する。 RoPE-LIME インプリメンテーション (i)ロペ埋め込み空間で計算されたRelaxed Word Mover's Distanceに基づく局所性カーネル (II) Sparse-K サンプリングは、限られた予算下での相互作用カバレッジを改善する効率的な摂動戦略である。 HotpotQA (sentence features) と手書きMMLUサブセット (word features) の実験により、RoPE-LIME は、余分なサンプリングよりも、より情報的な属性を生成し、gSMILE よりも大幅に改善し、クローズドモデル API コールを削減した。

関連論文リスト

• Sparsity Is Necessary: Polynomial-Time Stability for Agentic LLMs in Large Action Spaces [11.62669179647184]
  ツール拡張LLMシステムは、学習理論が無視してきた制御体制を公開する。 我々は、この設定をスパースエージェント制御(SAC)として定式化し、M上のブロックスパース表現を認めるポリシーを定式化する。 部分可観測性の下では, LLM は信念/表現誤差 epsilon_b によってのみ重要となり, 付加的な O(epsilon_b) 劣化が生じる。
  論文  参考訳（メタデータ） (2026-01-13T06:56:53Z)
• Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling [3.7391437252721698]
  本研究では, 軸整合量子化器と回転する RoPE 対による長いコンテキストエイリアス化, ダイナミックレンジ拡張, 異方性などの効果により, RoPE 位置認識 (PI) と PTQ を併用すると精度が低下することを示す。 本稿では,Q-ROAR (Quantization, RoPE-interpolation, Outlier Aware Rescaling) を提案する。
  論文  参考訳（メタデータ） (2025-09-26T01:23:32Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [65.04475956174959]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLにおける重要な課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータの敵ジャミングに対する感受性である。 本稿では,無線ネットワーク上での大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いたレジリエンスSFLのための物理層フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。