論文の概要: Submodular Combinatorial Information Measures with Applications in Machine Learning

• arxiv url: http://arxiv.org/abs/2006.15412v6
• Date: Tue, 2 Mar 2021 19:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:51:58.203015
• Title: Submodular Combinatorial Information Measures with Applications in Machine Learning
• Title（参考訳）: 機械学習におけるサブモジュール型コンビネーション情報対策
• Authors: Rishabh Iyer and Ninad Khargonkar and Jeff Bilmes and Himanshu Asnani
• Abstract要約: エントロピーや相互情報のような情報理論の量は、機械学習で多くの用途を見出した。 本研究では,独立性,(条件)エントロピー,(条件)相互情報,および変数の集合上で定義された総相関を一般化する情報尺度について検討する。
• 参考スコア（独自算出の注目度）: 2.5329739965085785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that there is a strong connection between these entropic quantities and submodularity since entropy over a set of random variables is submodular. In this paper, we study combinatorial information measures that generalize independence, (conditional) entropy, (conditional) mutual information, and total correlation defined over sets of (not necessarily random) variables. These measures strictly generalize the corresponding entropic measures since they are all parameterized via submodular functions that themselves strictly generalize entropy. Critically, we show that, unlike entropic mutual information in general, the submodular mutual information is actually submodular in one argument, holding the other fixed, for a large class of submodular functions whose third-order partial derivatives satisfy a non-negativity property. This turns out to include a number of practically useful cases such as the facility location and set-cover functions. We study specific instantiations of the submodular information measures on these, as well as the probabilistic coverage, graph-cut, and saturated coverage functions, and see that they all have mathematically intuitive and practically useful expressions. Regarding applications, we connect the maximization of submodular (conditional) mutual information to problems such as mutual-information-based, query-based, and privacy-preserving summarization -- and we connect optimizing the multi-set submodular mutual information to clustering and robust partitioning.
• Abstract（参考訳）: エントロピーや相互情報のような情報理論の量は、機械学習で多くの用途を見出した。 確率変数の集合上のエントロピーは部分モジュラーであるため、これらのエントロピー量と部分モジュラリティの間に強い関係があることはよく知られている。 本稿では,独立性,(条件)エントロピー,(条件)相互情報,および(必ずしもランダムではない)変数の集合上で定義された総相関を一般化する組合せ情報尺度について検討する。 これらの測度は、エントロピーを厳密に一般化する部分モジュラー関数を介して全てパラメータ化されるので、対応するエントロピー測度を厳密に一般化する。 批判的に言えば、一般にエントロピー的相互情報とは異なり、三階偏微分が非負性性を満たす部分モジュラ函数の大規模なクラスに対して、部分モジュラー相互情報は一方の引数において実際に部分モジュラーであることが示される。 これには、施設の位置やセットカバー機能など、実用上便利なケースがいくつか含まれている。 本研究では,これらの部分モジュラー情報量と,確率的カバレッジ,グラフカット,飽和カバレッジ関数の具体的インスタンス化について検討し,それらすべてが数学的に直感的で実用的な表現であることを示す。 アプリケーションに関しては、サブモジュラー(条件付き)相互情報の最大化と、相互情報ベース、クエリベース、プライバシ保存要約などの問題とを結びつけ、マルチセットサブモジュラー相互情報の最適化をクラスタリングとロバストパーティショニングに結びつける。

関連論文リスト

• Information-Theoretic Measures on Lattices for High-Order Interactions [0.7373617024876725]
  格子と演算関数のペアを用いた高次情報理論測度を導出する体系的枠組みを提案する。 この枠組みでは,多くのよく用いられる測度が導出可能であるが,分割格子の格子に制限されることがしばしばある。 $d$変数間の全ての相互作用をフルに特徴付けるために、KL発散の一般化を演算関数として用いたStreitberg Informationを導入する。
  論文  参考訳（メタデータ） (2024-08-14T13:04:34Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Uncertainty relations in terms of generalized entropies derived from information diagrams [0.0]
  エントロピーと偶然の指数の不等式は、古典情報理論における研究の長年の方向性を形成する。 本稿では,情報図から得られたエントロピー的不確実性関係について述べる。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Submodularity In Machine Learning and Artificial Intelligence [0.0]
  我々は、部分モジュラー函数とその一般化の完全な記述である部分モジュラー定義の多元性を提供する。 そして、サブモジュラリティが機械学習と人工知能にどのように役立つかに目を向ける。
  論文  参考訳（メタデータ） (2022-01-31T22:41:35Z)
• Learning Aggregation Functions [78.47770735205134]
  任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。 半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
  論文  参考訳（メタデータ） (2020-12-15T18:28:53Z)
• Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies [88.0813215220342]
  いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。 機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-10-21T07:40:33Z)
• Concave Aspects of Submodular Functions [0.0]
  部分モジュラー関数はエントロピーや相互情報などの情報理論の量を一般化する。 部分モジュラ函数も凹凸の兆候を示す。 上界に付随する超微分と多面体を特徴付け, 微分を用いた部分モジュラーの最適条件を提供する。
  論文  参考訳（メタデータ） (2020-06-27T17:06:24Z)
• Continuous Submodular Function Maximization [91.17492610120324]
  連続部分モジュラリティ (continuous submodularity) は、幅広い応用を持つ関数のクラスである。 連続的な部分モジュラ最適化の応用は、影響、推論のMAP、フィールドへの推論など多岐にわたる。
  論文  参考訳（メタデータ） (2020-06-24T04:37:31Z)
• From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
  サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。 本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。 整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
  論文  参考訳（メタデータ） (2020-06-01T22:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。