論文の概要: Towards Distillation Guarantees under Algorithmic Alignment for Combinatorial Optimization

• arxiv url: http://arxiv.org/abs/2605.20074v1
• Date: Tue, 19 May 2026 16:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.523583
• Title: Towards Distillation Guarantees under Algorithmic Alignment for Combinatorial Optimization
• Title（参考訳）: 組合せ最適化のためのアルゴリズムアライメントによる蒸留保証に向けて
• Authors: Thien Le, Melanie Weber,
• Abstract要約: 蒸留は、広いデータで訓練された大きなモデルから、デプロイメントに適したより小さく、より効率的なモデルに知識を伝達する。 本研究では,DP遷移関数の複雑性パラメータにおいて,DTとして表現された蒸留問題を効率的に解けることを示す。
• 参考スコア（独自算出の注目度）: 11.645059926678082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distillation transfers knowledge from a large model trained on broad data to a smaller, more efficient model suitable for deployment. In structured prediction settings, prior knowledge about the task can guide the choice of a target architecture that is algorithmically aligned with the underlying problem. Building on recent learning-theoretic analyses of decision-tree (DT) distillation (Boix-Adsera, 2024), we study when distillation succeeds for combinatorial optimization tasks. We focus on the case where the target model is a graph neural network whose architecture is aligned with a dynamic programming (DP) algorithm for the task. Assuming that the source model is sufficiently rich, formalized through the linear representation hypothesis (LRH) (Elhage et al., 2022; Park et al., 2024), we show that the distillation problem can be solved efficiently in the complexity parameters of the DP transition function, represented as a DT. Our results provide a rigorous sufficient condition for successful distillation in the flavour of algorithmic alignment.
• Abstract（参考訳）: 蒸留は、広いデータで訓練された大きなモデルから、デプロイメントに適したより小さく、より効率的なモデルに知識を伝達する。 構造化予測設定では、タスクに関する事前の知識は、アルゴリズム的に基礎となる問題に整合したターゲットアーキテクチャの選択を導くことができる。 決定木蒸留(DT)の最近の学習理論分析(Boix-Adsera, 2024)に基づいて, 組合せ最適化タスクにおいて蒸留が成功するかを検討した。 本稿では,対象モデルが動的プログラミング(DP)アルゴリズムに適合するグラフニューラルネットワークである場合に着目した。 ソースモデルが線形表現仮説 (LRH; Elhage et al , 2022; Park et al , 2024) によって十分にリッチであると仮定すると, DTとして表されるDP遷移関数の複雑性パラメータにおいて, 蒸留問題を効率的に解けることを示す。 その結果,アルゴリズムアライメントのフレーバーにおける蒸留を成功させるのに十分な厳密な条件が得られた。

関連論文リスト

• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Dataset Distillation as Pushforward Optimal Quantization [2.5892916589735457]
  そこで本研究では,実データ上での学習に類似した性能を,桁違いに少ない計算量で実現した合成トレーニングセットを提案する。 特に、既存の非絡み合ったデータセット蒸留法を古典的最適量子化とワッサーシュタインのバリセンタ問題にリンクする。 我々は,ImageNet-1Kデータセットの性能向上とモデル間一般化を,より簡単な追加計算で実現し,より高階のイメージ・パー・クラス・セッティングにおけるSOTA性能を向上する。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Learning the hub graphical Lasso model with the structured sparsity via an efficient algorithm [0.9999629695552196]
  ハブグラフィカルモデルを推定する二相アルゴリズムを提案する。 提案アルゴリズムはまず,乗算器の2つの交互方向法(ADMM)を用いてよい初期点を生成し,次に半平滑ニュートン法(SSN)に基づく拡張ラグランジアン法(ALM)を暖房開始する。 合成データと実データの両方に関する包括的な実験は、既存の最先端アルゴリズムよりも明らかに優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-17T08:24:28Z)
• Understanding the Distillation Process from Deep Generative Models to Tractable Probabilistic Circuits [30.663322946413285]
  我々は,PCの性能が教師モデルを上回ることを理論的,実証的に発見する。 特にImageNet32では、PCは4.06ビット/次元を実現しており、これは変分拡散モデルのわずか0.34である。
  論文  参考訳（メタデータ） (2023-02-16T04:52:46Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Scalable Approximate Inference and Some Applications [2.6541211006790983]
  本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
  論文  参考訳（メタデータ） (2020-03-07T04:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。