Fugu-MT 論文翻訳(概要): A Novel Dual of Shannon Information and Weighting Scheme

論文の概要: A Novel Dual of Shannon Information and Weighting Scheme

arxiv url: http://arxiv.org/abs/2304.12814v1
Date: Tue, 25 Apr 2023 13:40:50 GMT
ステータス: 処理完了
システム内更新日: 2023-04-26 20:34:03.858383
Title: A Novel Dual of Shannon Information and Weighting Scheme
Title（参考訳）: シャノン情報と重み付けスキームの新規双対化
Authors: Arthur Jun Zhang
Abstract要約: クラスラベル付き文書のトレンピーに基づく重み付け方式,すなわち正のクラス周波数(PCF)を提案する。公開データセットの集合では、PCFに基づく重み付け方式が古典的なTF-IDFと、kNN設定で一般的な最適輸送に基づく単語移動距離アルゴリズムより優れていることを示す。また,情報量エントロピーとトロエンピーの期待オッズ比として,期待クラス情報バイアス(ECIB)と呼ばれる新たなオッズ比型機能を開発した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Shannon Information theory has achieved great success in not only communication technology where it was originally developed for but also many other science and engineering fields such as machine learning and artificial intelligence. Inspired by the famous weighting scheme TF-IDF, we discovered that information entropy has a natural dual. We complement the classical Shannon information theory by proposing a novel quantity, namely troenpy. Troenpy measures the certainty, commonness and similarity of the underlying distribution. To demonstrate its usefulness, we propose a troenpy based weighting scheme for document with class labels, namely positive class frequency (PCF). On a collection of public datasets we show the PCF based weighting scheme outperforms the classical TF-IDF and a popular Optimal Transportation based word moving distance algorithm in a kNN setting. We further developed a new odds-ratio type feature, namely Expected Class Information Bias(ECIB), which can be regarded as the expected odds ratio of the information quantity entropy and troenpy. In the experiments we observe that including the new ECIB features and simple binary term features in a simple logistic regression model can further significantly improve the performance. The simple new weighting scheme and ECIB features are very effective and can be computed with linear order complexity.
Abstract（参考訳）: シャノン情報理論は、もともと開発された通信技術だけでなく、機械学習や人工知能といった多くの科学や工学分野でも大きな成功を収めている。有名な重み付けスキームtf-idfに触発されて,情報エントロピーが自然双対であることを発見した。古典的シャノン情報理論を補うために、新しい量、すなわちトレンピーを提案する。トレンピーは、基盤となる分布の確実性、共通性、および類似性を測定する。そこで本研究では,クラスラベル付き文書に対するトレンピーに基づく重み付け方式,すなわち正のクラス周波数(pcf)を提案する。公開データセットの集合では、PCFに基づく重み付け方式が古典的なTF-IDFと、kNN設定で一般的な最適輸送に基づく単語移動距離アルゴリズムより優れていることを示す。我々はさらに,情報量エントロピーとトロエンピーの期待オッズ比とみなすことができる,新たなオッズ比型機能である期待クラス情報バイアス(ECIB)を開発した。実験では、単純なロジスティック回帰モデルにおいて、新しいECIB機能と単純なバイナリ項機能を含めることで、さらなる性能向上が期待できる。単純な新しい重み付けスキームとECIB機能は、非常に効果的であり、線形順序複雑性で計算できる。

関連論文リスト

Pseudo-Likelihood Inference [16.934708242852558]
Pseudo-Likelihood Inference (PLI)は、ABCに神経近似をもたらす新しい方法であり、ベイズシステムの識別に挑戦するタスクと競合する。 PLIは、勾配降下による神経後葉の最適化を可能にし、要約統計に頼らず、入力として複数の観察を可能にする。 PLIの有効性は、4つの古典的SBIベンチマークタスクと非常にダイナミックな物理システムで評価される。
論文参考訳（メタデータ） (2023-11-28T10:17:52Z)
Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文参考訳（メタデータ） (2023-11-17T00:35:38Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Residual-based attention and connection to information bottleneck theory in PINNs [0.393259574660092]
近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
論文参考訳（メタデータ） (2023-07-01T16:29:55Z)
A New Information Theory of Certainty for Machine Learning [0.0]
クロード・シャノンは、通信符号化理論のためのランダム分布の不確かさを定量化するためにエントロピーを作った。本稿では,エントロピーの正準双対として,基礎となる分布の確実性を定量化するための新しい概念トロエンピーを提案する。
論文参考訳（メタデータ） (2023-04-25T14:03:57Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文参考訳（メタデータ） (2021-04-11T16:37:32Z)
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文参考訳（メタデータ） (2021-03-01T21:14:33Z)
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文参考訳（メタデータ） (2020-11-23T12:52:18Z)
Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文参考訳（メタデータ） (2020-10-07T17:48:12Z)
Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。