論文の概要: How to select an objective function using information theory

• arxiv url: http://arxiv.org/abs/2212.06566v4
• Date: Mon, 3 Jun 2024 20:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 16:52:40.854737
• Title: How to select an objective function using information theory
• Title（参考訳）: 情報理論を用いた目的関数の選択法
• Authors: Timothy O. Hodson, Thomas M. Over, Tyler J. Smith, Lucy M. Marshall,
• Abstract要約: 機械学習や科学計算では、モデル性能は客観的関数で測定される。 情報理論のパラダイムの下では、最終的な目的は、特定のユーティリティとは対照的に、情報の最大化(および不確実性の最小化)である。 このパラダイムは、気候変動の影響を理解するために使用される大規模な地球システムモデルのように、多くの用途を持ち、明確な実用性を持たないモデルに適している、と我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In machine learning or scientific computing, model performance is measured with an objective function. But why choose one objective over another? Information theory gives one answer: To maximize the information in the model, select the objective function that represents the error in the fewest bits. To evaluate different objectives, transform them into likelihood functions. As likelihoods, their relative magnitude represents how strongly we should prefer one objective versus another, and the log of that relation represents the difference in their bit-length, as well as the difference in their uncertainty. In other words, prefer whichever objective minimizes the uncertainty. Under the information-theoretic paradigm, the ultimate objective is to maximize information (and minimize uncertainty), as opposed to any specific utility. We argue that this paradigm is well-suited to models that have many uses and no definite utility, like the large Earth system models used to understand the effects of climate change.
• Abstract（参考訳）: 機械学習や科学計算では、モデル性能は客観的関数で測定される。 しかし、なぜ別の目的を選ぶのか? 情報理論は1つの答えを与える: モデルの情報を最大限にするために、最少ビットにおけるエラーを表す目的関数を選択する。 異なる目的を評価するために、これらを可能性関数に変換する。 可能性として、それらの相対的な大きさは、ある目的が他の目標よりもどれだけ強く、その関係のログはビット長の違いと不確実性の違いを表す。 言い換えれば、どちらの目的も不確実性を最小化する。 情報理論のパラダイムの下では、最終的な目的は、特定のユーティリティとは対照的に、情報の最大化(および不確実性の最小化)である。 このパラダイムは、気候変動の影響を理解するために使用される大規模な地球システムモデルのように、多くの用途を持ち、明確な実用性を持たないモデルに適している、と我々は主張する。

関連論文リスト

• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Learning Choice Functions with Gaussian Processes [0.225596179391365]
  消費者理論において、利用可能なオブジェクトを選好関係でランク付けすると、個々の選択の最も一般的な記述が得られる。 本稿では,個人が設定値の選択を表現できる選択モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T12:46:43Z)
• Suspected Object Matters: Rethinking Model's Prediction for One-stage Visual Grounding [93.82542533426766]
  疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。 SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-10T06:41:07Z)
• Feature Selection by a Mechanism Design [0.0]
  プレイヤーが候補であり、ペイオフ関数がパフォーマンス測定である選択問題について検討する。 理論上、無関係な特徴はゲーム内のダミープレイヤーと等価であり、全てのモデリング状況には何も寄与しない。 メカニズム設計において、最終的なゴールは、期待されるモデル性能と、期待される個々の限界効果の総和とを完全に一致させる。
  論文  参考訳（メタデータ） (2021-10-05T23:53:14Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• InfoNCE is variational inference in a recognition parameterised model [32.45282187405337]
  本稿では,新しい確率的生成モデルのクラスにおいて,InfoNCEの目的がELBOと等価であることを示す。 特に、無限サンプル極限において、前者の特定の選択に対して、実際のInfoNCE目標がELBOと等しいことを示す。
  論文  参考訳（メタデータ） (2021-07-06T09:24:57Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Understanding the origin of information-seeking exploration in probabilistic objectives for control [62.997667081978825]
  探索と探索のトレードオフは適応行動の記述の中心である。 このトレードオフを解決する1つのアプローチは、エージェントが固有の「探索駆動」を持っていることを装備または提案することであった。 汎用的最大化と情報参照行動の組み合わせは, 目的の全く異なる分類の最小化から生じることを示す。
  論文  参考訳（メタデータ） (2021-03-11T18:42:39Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Deep Learning for Individual Heterogeneity: An Automatic Inference Framework [2.6813717321945107]
  本研究では,機械学習を用いた推定と推定手法を開発し,経済モデルを強化する。 経済モデルの構造に合わせてネットワークアーキテクチャを設計する方法を示す。 我々は、新しい影響関数計算に基づいて推論を得る。
  論文  参考訳（メタデータ） (2020-10-28T01:41:47Z)
• Auditing and Debugging Deep Learning Models via Decision Boundaries: Individual-level and Group-level Analysis [0.0]
  深層学習モデルの説明、監査、デバッグにはフリップポイントを使用します。 フリップポイントは、2つの出力クラスの境界にある任意の点である。 機械学習のソーシャルな応用に使用される標準データセットに基づいて訓練されたモデルをいくつか調べて,本手法を実証する。
  論文  参考訳（メタデータ） (2020-01-03T01:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。