論文の概要: Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

• arxiv url: http://arxiv.org/abs/2608.06400v1
• Date: Fri, 31 Jul 2026 17:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.236881
• Title: Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast
• Title（参考訳）: 経路ウェイトを超えて:コントリビューション・コントラストを用いた実験用リワードモデルの忠実応答レベル解釈
• Abstract要約: Mixture-of-Experts (MoE) 報酬モデルは、専門家にプロンプトをルーティングすることで解釈性を向上させる。 我々は、$textbfCo$ntribution-$textbfCo$ntrast ($textbfCo$)レスポンスレベルの解釈を提案する。 CoCoはルータベース、スコアベース、スパースオートエンコーダベースの代替よりも一貫性があり、忠実で、専門的な解釈をもたらす。
• 参考スコア（独自算出の注目度）: 22.088665451247753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward models are central to learning from human preferences, yet identifying what drives their predictions remains challenging. Recent sparse Mixture-of-Experts (MoE) reward models seek to improve interpretability by routing prompts to specialized experts and characterizing experts through examples with high routing weights. However, routing weights only reveal which prompts an expert $\textit{receives}$, not how it $\textit{judges}$ responses, providing only a partial account of expert behavior. We therefore propose $\textbf{Co}$ntribution-$\textbf{Co}$ntrast ($\textbf{CoCo}$) response-level interpretation, which faithfully characterizes experts' roles using chosen-rejected response pairs with the largest contribution contrasts, jointly capturing routing and preference behavior. Across automatic and human evaluations, CoCo yields more coherent, faithful, and specialized interpretations than router-based, score-based, and sparse autoencoder-based alternatives while maintaining competitive reward modeling accuracy. To the best of our knowledge, this is the first systematic study of interpretation methods for MoE reward models.
• Abstract（参考訳）: リワードモデルは人間の好みから学ぶことの中心であるが、予測を駆動する要因を特定することは依然として困難である。 最近のSparse Mixture-of-Experts(MoE)報酬モデルでは、プロンプトを専門の専門家にルーティングし、高いルーティング重みを持つ例を通して専門家を特徴づけることで、解釈可能性の向上を目指している。 しかし、ルーティングの重み付けは、専門家の$\textit{receives}$のプロンプトのみを明らかにする。 そこで我々は、選択された反応対と最大のコントリビューションコントラストを持つ専門家の役割を忠実に特徴づけ、ルーティングと嗜好の行動を共同でキャプチャする、$\textbf{Co}$ntribution-$\textbf{Co}$ntrast ($\textbf{Co}$)レスポンスレベルの解釈を提案する。 CoCoは、自動および人的評価全体を通じて、競争力のある報酬モデリングの精度を維持しながら、ルータベース、スコアベース、スパースオートエンコーダベースの代替品よりも一貫性があり、忠実で、専門的な解釈を得る。 我々の知る限りでは、これはMoE報酬モデルに対する解釈法に関する最初の体系的研究である。

関連論文リスト

• Coverage-Maximizing Multinomial Subset Routing under Operational Constraints [6.499454916436427]
  我々は,Multinomial Subset Routing (MSR)を紹介した。 各ラウンドで、学習者はマルチノミカルポリシーから$M$のエキスパートをサンプリングし、その結果、異なるサンプル専門家の集合がルーティングされたサブセットを形成する。 報酬はルーティングされたサブセットで最高のパフォーマンスのエキスパートにのみ依存します。
  論文  参考訳（メタデータ） (2026-08-17T10:30:20Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• ProbMoE: Differentiable Probabilistic Routing for Mixture-of-Experts [32.864092506780004]
  Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家を活性化することでスケールする。 本稿では,確率的ルーティングフレームワークProbMoEを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T00:16:36Z)
• SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval [61.73547199231695]
  SubSearchは、結果のみの監視から中間報酬信号に移行する特殊なフレームワークである。 実験により、本質的な報酬を伴う中間的推論ステップの報酬はより堅牢な推論トレースをもたらすことが示された。 SubSearchは、複雑なクエリ応答のための検索エンジンをよりよく統合できる推論トレースを構築するのに役立つ。
  論文  参考訳（メタデータ） (2026-04-08T13:09:47Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Upcycled and Merged MoE Reward Model for Mitigating Reward Hacking [0.0]
  本稿では,RLHF報酬モデルのロバスト性および効率性を向上させるために,MoE報酬モデルとアップサイクルとマージする手法を提案する。 我々の研究は、RLHF報酬モデルのロバスト性および効率性を改善するために、MoE構造をアップサイクルとマージする可能性を強調した。
  論文  参考訳（メタデータ） (2025-11-30T04:36:37Z)
• Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。 ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。 本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:55Z)
• Unified Sparse Mixture of Experts [14.774596844618396]
  SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。 本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T07:15:12Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。