論文の概要: On Training-Test (Mis)alignment in Unsupervised Combinatorial Optimization: Observation, Empirical Exploration, and Analysis

• arxiv url: http://arxiv.org/abs/2506.16732v1
• Date: Fri, 20 Jun 2025 04:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.331165
• Title: On Training-Test (Mis)alignment in Unsupervised Combinatorial Optimization: Observation, Empirical Exploration, and Analysis
• Title（参考訳）: 教師なし組合せ最適化におけるトレーニング・テスト(ミス)アライメント:観察,経験的探索,分析
• Authors: Fanchen Bu, Kijung Shin,
• Abstract要約: 教師なし最適化(UCO)では、トレーニング中に各トレーニングインスタンスに対して確率論的に期待できる連続的な決定を行うことを目的としている。 トレーニングにデランドマイゼーションの異なるバージョンを含めることで、UCOにおけるトレーニングとテストの整合性を改善するための予備的なアイデアを探求する。 私たちの経験的調査は、このようなアイデアが実際にトレーニングとテストのアライメントを改善するだけでなく、トレーニングに非自明な課題をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 25.69187509653635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In unsupervised combinatorial optimization (UCO), during training, one aims to have continuous decisions that are promising in a probabilistic sense for each training instance, which enables end-to-end training on initially discrete and non-differentiable problems. At the test time, for each test instance, starting from continuous decisions, derandomization is typically applied to obtain the final deterministic decisions. Researchers have developed more and more powerful test-time derandomization schemes to enhance the empirical performance and the theoretical guarantee of UCO methods. However, we notice a misalignment between training and testing in the existing UCO methods. Consequently, lower training losses do not necessarily entail better post-derandomization performance, even for the training instances without any data distribution shift. Empirically, we indeed observe such undesirable cases. We explore a preliminary idea to better align training and testing in UCO by including a differentiable version of derandomization into training. Our empirical exploration shows that such an idea indeed improves training-test alignment, but also introduces nontrivial challenges into training.
• Abstract（参考訳）: 教師なし組合せ最適化(UCO)では、トレーニング中に各トレーニングインスタンスに対して確率論的に有望な連続的な決定を行うことを目標としており、これは最初は離散的で微分不可能な問題に対するエンドツーエンドのトレーニングを可能にする。 テスト時の各テストインスタンスは、連続的な決定から始まるが、デランドマイズ(deandomization)は、通常、最終的な決定論的な決定を得るために適用される。 研究者たちは、経験的性能とUCO法の理論的保証を高めるために、より強力なテスト時デランドマイズ法を開発した。 しかし,既存のUCO法では,トレーニングとテストの相違が指摘されている。 その結果、データ分散シフトのないトレーニングインスタンスであっても、トレーニング損失が低い場合には、デランドマイズ後のパフォーマンスが向上するとは限らない。 経験的に、そのような望ましくないケースを実際に観察する。 トレーニングにデランドマイゼーションの異なるバージョンを含めることで、UCOにおけるトレーニングとテストの整合性を改善するための予備的なアイデアを探求する。 私たちの経験的調査は、このようなアイデアが実際にトレーニングとテストのアライメントを改善するだけでなく、トレーニングに非自明な課題をもたらすことを示している。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Stability and Generalization in Free Adversarial Training [9.831489366502302]
  本稿では,アルゴリズム的安定性フレームワークを用いた対人訓練における一般化と最適化の相互関係を解析する。 本研究では,バニラ対逆トレーニング法と自由対逆トレーニング法を用いて学習したニューラルネットワークの一般化ギャップを比較した。 実験結果から, 自由対人訓練法は, 同様の反復回数に対して, より小さな一般化のギャップを生じさせる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-13T12:07:20Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Unified Regularity Measures for Sample-wise Learning and Generalization [18.10522585996242]
  本稿では,定式化整合表現を用いた2つのプロセスのサンプル正則度尺度を提案する。 ミニバッチSGD最適化のための提案手法の有効性とロバスト性を検証する実験を行った。
  論文  参考訳（メタデータ） (2021-08-09T10:11:14Z)
• A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization [7.001799696806368]
  DNNモデルをトレーニングするための新しいフレームワークを提案する。 ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。 トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
  論文  参考訳（メタデータ） (2020-07-02T10:58:57Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。