論文の概要: Fine-tune your Classifier: Finding Correlations With Temperature

• arxiv url: http://arxiv.org/abs/2210.09715v1
• Date: Tue, 18 Oct 2022 09:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:55:22.387005
• Title: Fine-tune your Classifier: Finding Correlations With Temperature
• Title（参考訳）: 分類器の微調整:温度との相関
• Authors: Benjamin Chamand, Olivier Risser-Maroix, Camille Kurtz, Philippe Joly, Nicolas Lom\'enie
• Abstract要約: 我々は、データセットを表現に計算された統計の集合として記述することで、分類タスクに対する温度の影響を分析する。 これらの抽出された統計値と観測された最適温度との相関について検討した。
• 参考スコア（独自算出の注目度）: 2.071516130824992
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Temperature is a widely used hyperparameter in various tasks involving neural networks, such as classification or metric learning, whose choice can have a direct impact on the model performance. Most of existing works select its value using hyperparameter optimization methods requiring several runs to find the optimal value. We propose to analyze the impact of temperature on classification tasks by describing a dataset as a set of statistics computed on representations on which we can build a heuristic giving us a default value of temperature. We study the correlation between these extracted statistics and the observed optimal temperatures. This preliminary study on more than a hundred combinations of different datasets and features extractors highlights promising results towards the construction of a general heuristic for temperature.
• Abstract（参考訳）: 温度は、分類やメトリック学習など、ニューラルネットワークを含む様々なタスクで広く使用されるハイパーパラメータであり、その選択はモデル性能に直接影響を与える可能性がある。 既存の作品の多くは、最適な値を見つけるためにいくつかの実行を必要とするハイパーパラメータ最適化手法を用いてその値を選択する。 本研究では,データ集合を,温度のデフォルト値を与えるヒューリスティクスを構築することができる表現に基づいて計算される統計の集合として記述し,分類タスクにおける温度の影響を分析することを提案する。 抽出された統計値と観測された最適温度の相関について検討した。 この100以上の異なるデータセットと特徴抽出器の組み合わせに関する予備的研究は、温度に関する一般的なヒューリスティックの構築に有望な結果を示している。

関連論文リスト

• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling [31.663507929452564]
  生成品質と多様性のバランスをとるために,効率的なエントロピーに基づく動的温度サンプリング法を提案する。 我々の実験によると、EDTは様々なタスクで既存の戦略を著しく上回ります。
  論文  参考訳（メタデータ） (2024-03-21T16:41:12Z)
• Emerging Statistical Machine Learning Techniques for Extreme Temperature Forecasting in U.S. Cities [0.0]
  本稿では,新しい統計機械学習技術を用いた極端温度パターンの包括的解析を行う。 これらの手法を、最も人口の多い5つの米国都市の気候時系列データに適用する。 本研究は, 統計的手法の違いを強調し, 最も効果的なアプローチとして多層パーセプトロンを同定した。
  論文  参考訳（メタデータ） (2023-07-26T16:38:32Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Dynamic Bayesian Approach for decision-making in Ego-Things [8.577234269009042]
  本稿では,マルチセンサデータと特徴選択に基づく動的システムの異常検出手法を提案する。 成長型ニューラルガス(GNG)は、マルチセンサーデータを一連のノードにクラスタリングするために使用される。 本手法は状態推定と異常検出にマルコフジャンプ粒子フィルタ(MJPF)を用いる。
  論文  参考訳（メタデータ） (2020-10-28T11:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。