論文の概要: Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation

• arxiv url: http://arxiv.org/abs/2604.16197v1
• Date: Fri, 17 Apr 2026 16:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.991044
• Title: Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation
• Title（参考訳）: スケーラブルなデータ属性と評価のための大規模言語モデルの読み出し
• Authors: Yide Ran, Jianwen Xie, Minghui Wang, Wenjin Zheng, Denghui Zhang, Chuan Li, Zhaozhuo Xu,
• Abstract要約: 人間の認知にインスパイアされたRISE(Readout Influence Sketching Estimator)の導入 RISEは出力層における影響ホットスポットに焦点を合わせ、そこでは影響信号が集中し、勾配は分解した外部生成物の形態を許容する。 OLMo (1B-32B) と Pythia (14M-6.9B) のファミリー全体で、RISEはRapidInと比較してインデックスストレージを最大112$times$に削減する。 RISEは、ハウディバックドアデータ検出、ファイナンス・メディカルドメイン分離、Brain Rotの高品質データ選択の3つのタスクで検証する。
• 参考スコア（独自算出の注目度）: 31.732282915190467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data attribution and valuation are critical for understanding data-model synergy for Large Language Models (LLMs), yet existing gradient-based methods suffer from scalability challenges on LLMs. Inspired by human cognition, where decision making relies on a focused readout of relevant memories rather than replaying all pathways, we introduce RISE (Readout Influence Sketching Estimator). Instead of computing and indexing gradients across the entire LLM, RISE focuses on influence hotspots at the output layer, where influence signals concentrate, and the gradient admits a decomposed outer-product form. This enables a dual-channel representation combining a lexical residual channel (RH) and a semantic projected-error channel (GH). Applying CountSketch projections to these channels achieves strong compression while maintaining accurate attribution. Across the OLMo (1B-32B) and Pythia (14M-6.9B) families, RISE reduces index storage by up to 112$\times$ compared to RapidIn and scales to 32B parameters LLM, where gradient-based baselines such as RapidIn and ZO-Inf become memory-infeasible. We evaluate RISE on two paradigms: (1) retrospective attribution, retrieving influential training examples for specific predictions, and (2) prospective valuation, scoring candidate data utility zero-shot. We validate RISE on three tasks: Howdy backdoor data detection, Finance-Medical domain separation, and Brain Rot high-quality data selection. In a closed-loop Brain Rot study, continued pretraining on RISE-selected data yields consistent downstream improvements. Overall, RISE provides a practical and scalable primitive for influence analysis and training-data selection in modern large language models.
• Abstract（参考訳）: データ属性と評価は、Large Language Models (LLMs)のデータモデルシナジーを理解するために重要であるが、既存の勾配ベースの手法はLLMのスケーラビリティに悩まされている。 人間の認知に触発された意思決定は、すべての経路を再生するのではなく、関連する記憶の読み出しに焦点を合わせ、RISE(Readout Influence Sketching Estimator)を導入する。 LLM全体の勾配の計算とインデックス化の代わりに、RISEは出力層におけるホットスポットの影響に焦点を当て、そこでは影響信号が集中し、勾配は分解された外積形式を許容する。 これにより、レキシカル残留チャネル(RH)とセマンティック投影エラーチャネル(GH)を組み合わせた二重チャネル表現が可能になる。 これらのチャネルにCountSketchプロジェクションを適用することで、正確な属性を維持しながら強い圧縮を実現する。 OLMo (1B-32B) と Pythia (14M-6.9B) のファミリー全体で、RISEはRapidInと比較してインデックスストレージを最大112$\times$に減らし、32Bパラメータにスケールする。 我々は, RISEを2つのパラダイムで評価する: (1) 振り返り属性, 特定の予測に影響を及ぼすトレーニング例の検索, (2) 予測評価, 候補データユーティリティゼロショット。 RISEは、ハウディバックドアデータ検出、ファイナンス・メディカルドメイン分離、Brain Rotの高品質データ選択の3つのタスクで検証する。 閉ループのBrain Rot研究において、RISE選択データに対する事前トレーニングは、一貫した下流の改善をもたらす。 RISEは、現代の大規模言語モデルにおける影響分析とトレーニングデータ選択のための実用的でスケーラブルなプリミティブを提供する。

関連論文リスト

• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models [24.18585407100395]
  大規模視覚言語モデル(LVLM)は優れた性能を発揮するが、内部決定プロセスは不透明である。 本稿では,LVLMの「情報スペクトル」を定量的に測定するために,部分情報分解(PID)を用いた新しいフレームワークを提案する。 分析の結果,2つの重要な結果が明らかになった: (i)2つのタスク・レジーム (synergy-driven vs. knowledge-driven) と (ii) 2つの安定な家族レベルの戦略 (fusion-centric vs. language-centric) である。
  論文  参考訳（メタデータ） (2026-03-31T12:32:29Z)
• Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization [38.469173375694076]
  マルチモーダル大言語モデル(MLLM)における幻覚の根本原因を系統的に解析する。 1)不正確な初期記述が後続の推論を誤った前提に固定する連鎖的視覚推論の過度な信頼、(2)政策最適化中の探索の多様性が不十分で、過度に自信があるが誤ったアウトプットを発生させる要因、(3)トレーニングサンプル間の破壊的な衝突、NTKの類似性が誤関連や不安定なパラメータ更新を引き起こす要因である。 実験の結果,提案手法は幻覚率を著しく低減し,MLLMの推論精度を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2026-01-09T07:59:18Z)
• Data-Efficient RLVR via Off-Policy Influence Guidance [84.60336960383867]
  本研究は,学習目標に対する各データポイントの寄与を推定するために,影響関数を用いた理論的基礎的アプローチを提案する。 textbfCurriculum textbfRL with textbfOff-textbfPolicy textInfluence Guide (textbfCROPI) は多段階のRLフレームワークで、現在のポリシーにおいて最も影響力のあるデータを反復的に選択する。
  論文  参考訳（メタデータ） (2025-10-30T13:40:52Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
  Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。 本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。 InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-02-14T17:49:07Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。