論文の概要: Evidence-Aligned Local Composition of Discrete Experts for Sequence Restoration

• arxiv url: http://arxiv.org/abs/2609.05801v1
• Date: Sat, 05 Sep 2026 01:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.138573
• Title: Evidence-Aligned Local Composition of Discrete Experts for Sequence Restoration
• Title（参考訳）: シークエンス修復のための離散的専門家の地域構成の証拠
• Abstract要約: 局所的な構成は、特定の汚職モデルの下で腐敗した観察の限界証拠から専門家を柔らかく、位置的に重み付けしていると推測する。 重み付けは柔らかいため、真の組成が混合されたときに混合物を回収し、それが十分であれば専門家に集中する。 カテゴリーシミュレーター、バイトレベルの専門家、専門家が13ドルの離散フローマッチングモデルから微調整し、推定重みは実領域を0.85ドルの精度で追跡する。 回復は、専門家が真に異なるとき、単一のグローバルウェイトよりも改善し、それらが収束するときに、専門家の分離の指標を追跡する。
• 参考スコア（独自算出の注目度）: 7.162422068114824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A document modeled as a discrete sequence of tokens can be thought of as being generated from a composition of texts from different domains; a README file, for example, moves between prose, code, and configuration. When such a document is corrupted and only frozen domain experts are available, restoring it requires deciding both what is missing and which expert to trust at each position, at test time and without region labels or a trained router. We introduce evidence-aligned local composition, which infers a soft, position-wise weighting over the experts from the marginal evidence of the corrupted observation under a given corruption model, estimating the evidence from the experts' own denoising losses and smoothing the weights across positions. Because the weighting is soft, it recovers a mixture when the true composition is mixed and concentrates on one expert when that suffices. Across a categorical simulator, byte-level experts, and experts fine-tuned from a $1.3$B discrete flow-matching model, the inferred weights track the true regions at $0.85$ field accuracy on naturally mixed scientific documents, and at $0.98$ on constructed mixtures whose regions are lexically disjoint. Restoration improves over a single global weight when the experts are genuinely distinct and reduces to it when they converge, tracking a measure of expert separation.
• Abstract（参考訳）: トークンの離散シーケンスとしてモデル化された文書は、異なるドメインからのテキストの合成から生成されると考えることができる。 このようなドキュメントが破損し、フリーズされたドメインエキスパートのみが利用できる場合、そのリストアには、何が欠けているのか、どの専門家が各位置で、テスト時に、リージョンラベルや訓練されたルータなしで信頼するかを判断する必要がある。 筆者らは, ある汚職モデルの下で, 破損した観察の限界証拠から, 専門家を柔らかく, 位置的に重み付けし, 専門家自身の妄想的損失から証拠を推定し, ポジション間の重み付けを円滑にする, 証拠整合型局所構成を導入する。 重み付けは柔らかいため、真の組成が混合されたときに混合物を回収し、それが十分であれば一人の専門家に集中する。 カテゴリーシミュレーター、バイトレベルの専門家、および専門家は、13ドルBの離散フローマッチングモデルから微調整され、推論された重み付けは、自然に混ざった科学文書において、真の領域を0.85ドルの精度で追跡する。 回復は、専門家が真に異なるとき、単一のグローバルウェイトよりも改善され、収束するときに、専門家の分離の指標を追跡する。

関連論文リスト

• RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
  RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-09-04T23:16:12Z)
• Towards a Statistical Understanding of Mixture-of-Experts [9.70213785111328]
  Mixture-of-experts (MoE)アーキテクチャは、入力依存のルーティングを通じて専門家予測器のコレクションを組み合わせることで、モデル容量を増加させる。 我々は、MoEを局所化集約の一形態とみなし、この局所化が近似-推定-計算のトレードオフをどう見直すかを示す。 我々はまた、入力空間の幾何学を通してゲーティングを解釈し、局所的な専門家の利点のある領域にルーティング性能を関連付けるとともに、DeepSeekMoEのようなアーキテクチャで採用されている共有専門家が、どのように共通の予測構造を抽出できるかを示す。
  論文  参考訳（メタデータ） (2026-09-03T08:03:16Z)
• MedHal-Loc: Are "Explainable-by-Architecture" Medical Hallucination Detectors Faithful Localizers? A Localization Benchmark [3.738942365298833]
  MedHal-Locは、局所化忠実度のためのベンチマークとメトリクスである。 NLI-per-clause, consistency-per-sentence, and the dedicated span detector FAVA are all localize of chance。
  論文  参考訳（メタデータ） (2026-06-19T15:11:37Z)
• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• Unified Sparse Mixture of Experts [14.774596844618396]
  SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。 本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T07:15:12Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)
• Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised Deep Asymmetric Metric Learning [62.34197797857823]
  細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。 本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。 提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
  論文  参考訳（メタデータ） (2020-03-23T03:22:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。