論文の概要: When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes
- arxiv url: http://arxiv.org/abs/2608.07911v2
- Date: Thu, 13 Aug 2026 06:19:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 14:00:09.443049
- Title: When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes
- Title（参考訳）: トレース駆動評価はMoEエキスパートキャッシングを誤解させるか? セマンティックス、ワークロード汚染、運用レジームをリプレイする
- Abstract要約: Mixture-of-Experts (MoE)モデルはアクセラレーターメモリをはるかに上回っている。
ヒット率を上げた政策は、トークン当たりの専門家のトラフィックを減らした。
我々は、数だけでなく結論を変える3つの評価軸を評価する。
- 参考スコア（独自算出の注目度）: 3.471896896439183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) models have outgrown accelerator memory, and offloading expert weights to host memory is now standard. This makes expert cache management an attractive lever: a policy that raised the hit rate would cut expert traffic per token. Evaluating that is a measurement problem, and we find the measurement fragile. With a trace-driven, event-atomic simulator over three MoE models (40, 64, 128 experts), we isolate three evaluation axes that change conclusions, not just numbers. Replay semantics: under a fused-event traffic contract, an inconsistent per-access replay inflates recency-based policies by 27-29% while leaving frequency-based and static ones within 4%, inverting the policy ranking. Workload contamination: probe sets using one instruction template per category produce verbatim-identical generation prefixes; a matched-pair rendering intervention moves the measured early-window effect by 19.4-31.9 points and reverses which workloads look most cache-friendly. Operating regimes: normalized miss fractions do not transfer across models, so the per-step expert union relative to per-layer capacity must be reported -- yet permuting only the temporal order of an identical event stream moves the offline-optimal gap from 44.9% to 30.8%, so it is not sufficient. Corrected, a stable gap to the offline optimum remains (44.2-45.9% over 13 frozen workload compositions). A forced-admission oracle attributes 84.3-96.6% of it to knowing which resident expert is used furthest in the future. A causal next-use predictor, used as an eviction rule, recovers -11.4% of the gap; it picks an optimal victim 3.4% of the time, against 2.4% for a random resident block and 20.6-22.1% for LRU and LFRU. Our position is narrow: in our evaluated settings a large offline-optimal gap substantially overstates the gains recovered by representative lightweight causal mechanisms.
- Abstract（参考訳）: Mixture-of-Experts (MoE)モデルはアクセラレーターメモリよりも優れており、ホストメモリに専門家の重みをオフロードすることが標準になっている。
これにより、専門家のキャッシュ管理が魅力的なレバーになり、ヒット率を高めたポリシーによってトークン当たりの専門家のトラフィックが削減される。
それを評価することは測定の問題であり、測定の脆弱さを見出す。
3つのMoEモデル(40, 64, 18のエキスパート)にトレース駆動のイベント・アトミック・シミュレーターを組み、数値だけでなく結論を変える3つの評価軸を分離する。
リプレイセマンティクス: 融合したトラフィック契約の下で、アクセス毎のリプレイの不整合は、周波数ベースと静的なリプレイを4%以内で残しながら、リプライベースのポリシーを27～29%膨らませ、ポリシーランキングを反転させる。
ワークロード汚染: カテゴリ毎の1つの命令テンプレートを使用したプローブセットは、冗長なID生成プレフィックスを生成し、マッチしたペアレンダリングの介入は、測定された早期ウィンドウ効果を19.4-31.9ポイント移動させ、ワークロードが最もキャッシュフレンドリなように見せる。
運用体制: 正常化されたミス分画はモデル間で転送されないため、階層単位の容量に対するステップごとのエキスパートユニオンを報告する必要があるが、同じイベントストリームの時間順序のみを置換することで、オフラインと最適のギャップを44.9%から30.8%に移動するため、不十分である。
正解すると、オフラインの最適条件に対する安定なギャップが残る(13の冷凍ワークロード構成に対して44.2-45.9%)。
強制受託オラクルの84.3-96.6%は、将来どの居住専門家が使用されるかを知るためである。
排除規則として使用される因果次用予測器は、ギャップの-11.4%を回復し、ランダムな居住ブロックの2.4%、LRUとLFRUの20.6-22.1%に対して、最適な犠牲者の3.4%を選択できる。
我々の立場は狭く、評価された設定では、大規模なオフライン-最適ギャップは、代表的な軽量因果メカニズムによって回復される利益を著しく過大に表す。
関連論文リスト
- CAPTURE: Disentangling Preference Drift from Memory Poisoning in Personalized LLM Agents [0.15293427903448023]
CAPTUREは、潜伏したユーザ状態に対して、連続的に部分的に監視可能な決定プロセスである。
71.5%の勝利率であり、69.3%が同じ監督基準である。
定型的な毒殺の成功を11.5%に制限し、83.5%の真の嗜好の更新を受け入れている。
論文 参考訳（メタデータ） (2026-09-02T08:10:26Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training [0.0]
我々は,MoEの3つのパラメータ群が,同じ状態を受信すべきではないほど,大きさと勾配の統計量で十分異なるという観測に基づいて構築されたSkewAdamについて検討した。
SkewAdamはAdamW(126.8)、Muon(120.2)、Lion (393.7)に先駆けて108.4に到達し、ルータの負荷バランスは均一な床の1%以内に収まる。
論文 参考訳（メタデータ） (2026-07-21T12:47:15Z) - Speculate with Memory: Lossless Acceleration for LLM Agents [41.48103818220709]
投機的実行は、より小さく安価なモデルを使用して、環境がアイドル状態にある間に次のステップを予測し、事前起動することにより、LCMエージェントを加速させる。
我々は,過去のエージェント・トラジェクトリから学習する3つのオンライン記憶システムを備えた投機機を開発した。
提案手法は,行動予測,観測予測,連鎖予測という3つの推測型にまたがる6つのベンチマークで評価する。
論文 参考訳（メタデータ） (2026-07-14T00:36:31Z) - Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。
我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。
Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
論文 参考訳（メタデータ） (2026-06-05T22:52:16Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。
Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。
本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
論文 参考訳（メタデータ） (2026-04-04T17:56:30Z) - Scalable Multi-Task Low-Rank Model Adaptation [43.22544779625565]
マルチタスク低ランク適応(LoRA)を多数のタスクに拡張すると、破滅的なパフォーマンス劣化を引き起こす。
規則化や動的ルーティングのような既存のソリューションは、基本的なトレードオフによって制約されるため、スケールで失敗するのです。
3つの新しい設計を持つスケーラブルなソリューションであるmtLoRAを提案する。
論文 参考訳（メタデータ） (2026-03-02T06:57:11Z) - Echoes of Human Malice in Agents: Benchmarking LLMs for Multi-Turn Online Harassment Attacks [10.7231991032233]
大規模言語モデル(LLM)エージェントは、対話型Webアプリケーションのシェアを拡大するが、誤用や害に弱いままである。
i) 合成マルチターンハラスメント会話データセット、(ii) 繰り返しゲーム理論によって通知されるマルチエージェント(例えば、ハラッサー、被害者)シミュレーション、(iii) 記憶、計画、微調整にまたがるエージェントを攻撃する3つのジェイルブレイク手法、(iv) 混合メソッド評価フレームワークからなるオンラインハラスメントエージェントベンチマークを提案する。
論文 参考訳（メタデータ） (2025-10-16T01:27:44Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks
through Attributed Client Graph Clustering [116.4277292854053]
Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。
FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。
本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:15:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。