論文の概要: Quality-Aware Cross-Model Computation Reuse
- arxiv url: http://arxiv.org/abs/2610.05285v1
- Date: Sun, 04 Oct 2026 15:04:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:01:08.635495
- Title: Quality-Aware Cross-Model Computation Reuse
- Title(参考訳): 品質を考慮したクロスモデル計算再利用
- Abstract要約: 我々は、オンライン決定問題として、クロスモデル計算の再利用を定式化する。
そこで我々は品質認識再使用スケジューリングアルゴリズムを開発した。
モデル間再利用の最適化におけるQARSの有効性について実験を行った。
- 参考スコア(独自算出の注目度): 36.303709203361095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An intermediate result computed by one model can be reused by other models to perform their tasks. Existing work mainly focuses on practical execution, leaving a theoretical gap in optimizing reuse decisions. This optimization faces two challenges: quality uncertainty, because the effect of reuse on task quality is uncertain across models, and coupled scheduling, because tasks need to share the cost of preparing reusable results. These challenges compound each other: quality must be learned online, but the shared preparation structure makes scheduling NP-hard even with known quality, breaking the key assumption in existing methods. We formulate cross-model computation reuse as an online decision problem and develop the Quality-Aware Reuse Scheduling (QARS) algorithm to address it. For quality uncertainty, QARS learns task-dependent reuse quality from selected, possibly delayed feedback and uses optimistic estimates to guide decisions. For coupled scheduling, it jointly chooses which results to prepare and which tasks should use them, adapting scheduling accuracy to the remaining quality uncertainty. For the considered problem, our analysis separates learning and optimization error in regret and quantifies the tradeoff between scheduling accuracy and computation. Completing the quality-aware stopping rule yields $\widetilde O(\sqrt{T})$ regret while preserving feasibility. Experiments demonstrate the effectiveness of QARS in optimizing cross-model reuse, reducing the combined cost of computation and quality loss by up to 18.0%, and mean regret by 63.9% over the strongest scheduling baseline.
- Abstract(参考訳): あるモデルによって計算された中間結果は、そのタスクを実行するために他のモデルによって再利用することができる。
既存の作業は主に実行に重点を置いており、再利用の決定を最適化する理論的なギャップを残している。
この最適化は2つの課題に直面する: 品質の不確実性; タスク品質に対する再利用の効果がモデル間で不確実であること、および、再利用可能な結果を作成するコストをタスクが共有する必要があることである。
品質はオンラインで学ぶ必要があるが、共有された準備構造は、既知の品質でもNPハードをスケジューリングし、既存の手法の重要な前提を破る。
オンライン意思決定問題としてクロスモデル計算の再利用を定式化し,QARSアルゴリズムを開発した。
品質の不確実性のために、QARSは選択された、おそらく遅れたフィードバックからタスク依存の再利用品質を学び、予測予測を使って意思決定を導く。
協調スケジューリングでは、どの結果を用意し、どのタスクを使うべきかを共同で選択し、残りの品質の不確実性にスケジュールの精度を適用する。
検討した問題に対して,提案手法は学習誤りと最適化誤差を分離し,スケジューリング精度と計算のトレードオフを定量化する。
品質を意識した停止規則を補完すると、実現可能性を維持しながら、$\widetilde O(\sqrt{T})$ regretとなる。
実験では、QARSがクロスモデルの再利用を最適化し、計算コストと品質損失の合計を最大18.0%削減し、最強のスケジュールベースラインよりも63.9%後悔していることを示す。
関連論文リスト
- Learning to Fine-tune Foundation Models under Resource Limitations [2.7071541526963805]
本研究では,リソース制限されたデバイスにプリトレーニング済みのファンデーションモデルに対する最適連続微調整の問題について検討する。
我々の目標は、有限計算予算の下でモデルを微調整することを決定する最適なポリシーを学習することである。
広範に使用されているテキスト分類データセット上での事前学習モデルによる実験により,本手法は計算予算で常に微調整手法より優れていることが示された。
論文 参考訳(メタデータ) (2026-07-12T10:32:32Z) - Optimized Deferral for Imbalanced Settings [52.48138985215643]
学習アルゴリズムは、複雑な入力や不確実な入力を専門の専門家にルーティングすることで、大幅に改善することができる。
遅延学習として知られるこのアプローチは、自然言語生成、診断、コンピュータビジョンといった領域において不可欠である。
本稿では,専門家の不均衡な環境下での2段階学習の遅延に関する総合的研究について述べる。
論文 参考訳(メタデータ) (2026-04-30T11:15:37Z) - Teaching LMMs for Image Quality Scoring and Interpreting [71.1335005098584]
Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。
Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。
実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-03-12T09:39:33Z) - OmniRouter: Budget and Performance Controllable Multi-LLM Routing [31.60019342381251]
大規模言語モデル(LLM)は優れた性能を提供するが、かなりの計算資源を必要とし、比較的低効率で運用する。
マルチLLMサービスのための制御可能なルーティングフレームワークであるOmniを紹介する。
実験の結果、Omniは応答精度を最大6.30%改善し、同時に計算コストを少なくとも10.15%削減した。
論文 参考訳(メタデータ) (2025-02-27T22:35:31Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳(メタデータ) (2024-05-07T17:44:54Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z) - Automatic model training under restrictive time constraints [0.0]
モデルの品質とチューニングに必要な計算コストのバランスをとる最適化アルゴリズムを開発しています。
本アルゴリズムの性能は,多くの機械学習問題に対して検証される。
論文 参考訳(メタデータ) (2021-04-21T20:20:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。