論文の概要: MISO: Model-Internal-State-Guided Optimization for Ranking Models

• arxiv url: http://arxiv.org/abs/2608.07035v2
• Date: Wed, 12 Aug 2026 17:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 14:28:20.364747
• Title: MISO: Model-Internal-State-Guided Optimization for Ranking Models
• Title（参考訳）: MISO: ランキングモデルのためのモデル内部誘導最適化
• Authors: Yongzhe Zhang, Xiaoyu Deng, Yifan He, Mengying Sun, Sheng Luo, Yijia Liu, Hao Yan, Zhuo Li, Huiping Yao, Swathi Hrishikesh, Jing Chen, Dennis Choi, Steven Liu, Lexi Luo, Keyi Chen, Anish Khazane, Marcio Porto, Xiaoya Wang, Emmy Wang, Kangfu Zheng, Xingyuan Wang, Peggy Yao, Yi Meng, Bilal Fadlallah, Gursharan Singh, Prabhakar Goyal, Alireza Vahdatpour, Santanu Kolay,
• Abstract要約: モデル内部状態最適化(MIS)を用いて局所最適化決定を優先順位付けするシステムワークフローであるモデル内部状態最適化(MISO)を提案する。 MISOは、トレーニングされたランキングモデルからMISを抽出し、それらをランキング、アライメント、比較信号に集約し、それらの信号を解釈可能な候補編集の小さなセットに変換する。
• 参考スコア（独自算出の注目度）: 14.041638994009247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking models are repeatedly refined within established model families, yet the choice of which component to scale, replace, or retire is often guided by expensive trial-and-error. We present Model Internal State Optimization (MISO), a systems workflow that uses model internal states (MIS), including parameters, activations, gradients, and normalization statistics, to prioritize such local optimization decisions. MISO extracts MIS from a trained ranking model, aggregates them into ranking, alignment, and comparison signals, and converts those signals into a small set of interpretable candidate edits. Because MIS are re-extracted after each retraining cycle, MISO naturally supports an adaptive optimization workflow that tracks evolving model behavior as data distributions and system requirements shift over time. In an ads ranking case study, MISO improves normalized entropy while requiring substantially fewer validation runs than expert-driven and black-box scaling workflows, offering a practical middle ground between manual tuning and opaque automated search.
• Abstract（参考訳）: ランク付けモデルは確立されたモデルファミリー内で繰り返し洗練されるが、どのコンポーネントをスケールするか、置き換えるか、またはリタイアするかの選択は、しばしば高価なトライアル・アンド・エラーによってガイドされる。 我々は、パラメータ、アクティベーション、勾配、正規化統計を含むモデル内部状態(MIS)を利用するシステムワークフローであるモデル内部状態最適化(MISO)を提案し、そのような局所最適化決定を優先順位付けする。 MISOは、トレーニングされたランキングモデルからMISを抽出し、それらをランキング、アライメント、比較信号に集約し、それらの信号を解釈可能な候補編集の小さなセットに変換する。 MISは再トレーニングサイクルの後に再抽出されるので、MISOは自然に適応最適化ワークフローをサポートします。 広告ランキングケーススタディでは、MISOは正規化エントロピーを改善し、専門家主導やブラックボックスのスケーリングワークフローよりも検証の実行をかなり少なくし、手動チューニングと不透明な自動検索の中間点を提供する。

関連論文リスト

• Model-Driven Discipline for Multi-Agent LLMs: Requirement-to-Verification Generation of Traceable System Models [62.62160094849002]
  RADIANTは、MDEとMulti-Agent Large Language Modelを組み合わせたエンジニアリング方法論である。 工学的なフェーズにまたがる異種モデルを自動的に生成する。 正確かつ自動的な変更インパクト分析を提供する。
  論文  参考訳（メタデータ） (2026-07-18T08:50:55Z)
• A Multi-Criteria Automated MLOps Pipeline for Cost-Effective Cloud-Based Classifier Retraining in Response to Data Distribution Shifts [0.0]
  機械学習(ML)モデルの性能は、基礎となるデータ分布が時間とともに変化すると劣化することが多い。 MLOps(ML Operations)はしばしば手動であり、人間はモデルの再訓練と再デプロイのプロセスをトリガーする。 本稿では,データ分散の大幅な変化に応じて,ニューラルネットワークの再トレーニングに対処する自動MLOpsパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-12T13:22:14Z)
• Analysis of Transferability Estimation Metrics for Surgical Phase Recognition [3.3285108719932555]
  微調整された事前学習モデルは現代の機械学習の基盤となり、限られたラベル付きデータで実践者がハイパフォーマンスを達成できるようになった。 専門的アノテーションが特に時間がかかり費用がかかる外科的ビデオ解析では、下流タスクに最適な事前学習モデルを特定することが重要かつ困難である。 我々は,2つの多様なデータセット上で,LogME,H-Score,TransRateの3つの代表的な指標の総合ベンチマークを行った。
  論文  参考訳（メタデータ） (2025-08-22T18:05:33Z)
• Online Conformal Model Selection for Nonstationary Time Series [7.404114840043908]
  MPS(Model Prediction Set)は、非定常時系列のオンラインモデル選択のための新しいフレームワークである。 非定常条件下でMPSが最適モデルを確実かつ効率的に同定することを示す。 汎用的なフレームワークとして、MPSはデータ生成プロセス、データ構造、モデルクラス、トレーニングメソッド、評価メトリクスに対応している。
  論文  参考訳（メタデータ） (2025-06-05T19:45:52Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• MOSEL: Inference Serving Using Dynamic Modality Selection [4.849058875921672]
  モデル品質を維持しながら、推論入力からモダリティを適応的に選択するダイナミズム、モダリティ選択という形式を導入する。 MOSELはマルチモーダルMLモデルのための自動推論システムであり,ユーザ定義の性能と精度の要求に基づいて,要求毎の入力モダリティを慎重に選択する。
  論文  参考訳（メタデータ） (2023-10-27T20:50:56Z)
• End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control [45.84205238554709]
  本研究では, (e)NMPCの一部として最適性能を示すために, Koopman シュロゲートモデルの強化学習法を提案する。 エンドツーエンドトレーニングモデルは,(e)NMPCにおけるシステム識別を用いてトレーニングしたモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T10:21:53Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。