論文の概要: Studying the Interplay between Information Loss and Operation Loss in
Representations for Classification
- arxiv url: http://arxiv.org/abs/2112.15238v1
- Date: Thu, 30 Dec 2021 23:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 14:10:39.975697
- Title: Studying the Interplay between Information Loss and Operation Loss in
Representations for Classification
- Title（参考訳）: 分類表現における情報損失と運用損失の相互作用に関する研究
- Authors: Jorge F. Silva, Felipe Tobar, Mario Vicu\~na and Felipe Cordova
- Abstract要約: 情報理論の手法は、学習と意思決定のための特徴の設計において広く採用されている。
本研究は,学習における操作的十分性を実現するために,情報十分性という代替概念を採用することができることを示す。
- 参考スコア（独自算出の注目度）: 15.369895042965261
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Information-theoretic measures have been widely adopted in the design of
features for learning and decision problems. Inspired by this, we look at the
relationship between i) a weak form of information loss in the Shannon sense
and ii) the operation loss in the minimum probability of error (MPE) sense when
considering a family of lossy continuous representations (features) of a
continuous observation. We present several results that shed light on this
interplay. Our first result offers a lower bound on a weak form of information
loss as a function of its respective operation loss when adopting a discrete
lossy representation (quantization) instead of the original raw observation.
From this, our main result shows that a specific form of vanishing information
loss (a weak notion of asymptotic informational sufficiency) implies a
vanishing MPE loss (or asymptotic operational sufficiency) when considering a
general family of lossy continuous representations. Our theoretical findings
support the observation that the selection of feature representations that
attempt to capture informational sufficiency is appropriate for learning, but
this selection is a rather conservative design principle if the intended goal
is achieving MPE in classification. Supporting this last point, and under some
structural conditions, we show that it is possible to adopt an alternative
notion of informational sufficiency (strictly weaker than pure sufficiency in
the mutual information sense) to achieve operational sufficiency in learning.
- Abstract（参考訳）: 情報理論は学習と意思決定のための特徴設計において広く採用されている。
このことから着想を得た私たちは,その関係を考察する。
一 シャノン感覚における情報損失の弱い形態
二 連続観測の損失のある連続表現(特徴)の族を考えるとき、誤差の最小確率(mpe)感覚における操作損失
この相互作用に光を当てたいくつかの結果を示す。
第1結果は,原生観測ではなく離散的損失表現(量子化)を採用する場合,各操作損失の関数として,弱形式の情報損失に対して下限を与える。
この結果から,情報損失の特定の形態(漸近的情報不足の弱い概念)は,連続表現の一般的なファミリーを考えると,MPEの消失(あるいは漸近的操作不足)を示唆することが示された。
理論的には,情報満足度を捉えようとする特徴表現の選択は学習に適していると考えられるが,目的がMPEの分類を達成しようとする場合,この選択は比較的保守的な設計原則である。
この最後のポイントを支持し、いくつかの構造的条件の下では、学習における操作的充足を達成するために、情報充足(相互情報感覚における純粋充足よりも厳密に弱い)という代替概念を採用することが可能である。
関連論文リスト
- A Versatile Influence Function for Data Attribution with Non-Decomposable Loss [3.1615846013409925]
本稿では,非分解不能な損失を学習した機械学習モデルに対して,直接適用可能なVersatile Influence Function (VIF)を提案する。
VIFはデータ属性の大幅な進歩を表しており、幅広い機械学習パラダイムにまたがる効率的な影響関数ベースの属性を可能にする。
論文 参考訳（メタデータ） (2024-12-02T09:59:01Z) - Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head [38.898038672237746]
本稿では,広く使用されている確率レベル損失関数の補足として,ロジットレベル損失関数を導入する。
新たに導入されたロジットレベルの損失と,それ以前の確率レベルの損失の合計は,性能劣化につながる。
本稿では, 線形分類器を2つの分類ヘッドに分割し, 損失の異なる2つの分類ヘッドに分割する, 二重知識蒸留法を提案する。
論文 参考訳（メタデータ） (2024-11-13T12:33:04Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。
本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。
実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
論文 参考訳（メタデータ） (2023-09-25T16:40:56Z) - A survey and taxonomy of loss functions in machine learning [51.35995529962554]
本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。
直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
論文 参考訳（メタデータ） (2023-01-13T14:38:24Z) - On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。
一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文 参考訳（メタデータ） (2021-07-07T05:29:53Z) - Leveraging Unlabeled Data for Entity-Relation Extraction through
Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。
本手法では,論理文の正確な意味を捉える意味的損失を用いる。
低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文 参考訳（メタデータ） (2021-03-20T00:16:29Z) - Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
教師付き学習では、データは不完全で差別的な情報で注釈付けされる。
本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。
弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-04T18:14:32Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z) - Semantic Loss Application to Entity Relation Recognition [0.0]
本稿では,エンティティ関係認識のための2つの一般的なアプローチを比較する。
本論文の主な貢献は,結合実体関係抽出のためのエンドツーエンドニューラルネットワークである。
論文 参考訳（メタデータ） (2020-06-07T03:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。