Fugu-MT 論文翻訳(概要): A Practical & Unified Notation for Information-Theoretic Quantities in ML

論文の概要: A Practical & Unified Notation for Information-Theoretic Quantities in ML

arxiv url: http://arxiv.org/abs/2106.12062v1
Date: Tue, 22 Jun 2021 21:18:17 GMT
ステータス: 処理完了
システム内更新日: 2021-06-24 15:18:53.346682
Title: A Practical & Unified Notation for Information-Theoretic Quantities in ML
Title（参考訳）: MLにおける情報理論量のための実践的統一表記法
Authors: Andreas Kirsch, Yarin Gal
Abstract要約: 正しい表記法は価値ある直観を伝え、簡潔に新しい考えを表現することができる。本稿では、機械学習ユーザのための表記法を提案し、イベント(アウトカム)とランダム変数の間の情報理論量を含むように拡張する。
参考スコア（独自算出の注目度）: 35.427966046976366
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Information theory is of importance to machine learning, but the notation for information-theoretic quantities is sometimes opaque. The right notation can convey valuable intuitions and concisely express new ideas. We propose such a notation for machine learning users and expand it to include information-theoretic quantities between events (outcomes) and random variables. We apply this notation to a popular information-theoretic acquisition function in Bayesian active learning which selects the most informative (unlabelled) samples to be labelled by an expert. We demonstrate the value of our notation when extending the acquisition function to the core-set problem, which consists of selecting the most informative samples \emph{given} the labels.
Abstract（参考訳）: 情報理論は機械学習にとって重要であるが、情報理論量に関する表記はしばしば不透明である。正しい表記は価値ある直観を伝達し、簡潔に新しいアイデアを表現できる。本稿では、機械学習ユーザのための表記法を提案し、イベント(アウトカム)とランダム変数の間の情報理論量を含むように拡張する。この表記法をベイズ能動学習における情報理論獲得関数に適用し、専門家がラベル付けする最も情報に富んだサンプルを選択する。ラベルの最も情報性の高いサンプルであるemph{given}を選択することで、取得関数をコアセット問題に拡張する際の表記法の価値を示す。

関連論文リスト

Salutary Labeling with Zero Human Annotation [23.935005901515318]
本稿では,ヒトのアノテーションを使わずに最も有益なラベルを最も有益なサンプルに自動的に割り当てるサルタラベリングを提案する。 9つのベンチマークデータセットで行った実験は、従来のアクティブな学習戦略よりも有意なラベル付け手法の優れた性能を示した。
論文参考訳（メタデータ） (2024-05-27T19:49:18Z)
Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning [23.992247765851204]
本稿では,複数文表現とコントラスト学習を組み合わせた情報抽出手法を提案する。本手法では,これらの表現から相補的識別情報を抽出するために,コントラスト学習を用いる。
論文参考訳（メタデータ） (2024-03-25T08:36:06Z)
XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文参考訳（メタデータ） (2023-10-09T08:07:04Z)
Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文参考訳（メタデータ） (2023-06-25T02:39:19Z)
FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
論文参考訳（メタデータ） (2022-11-02T19:37:55Z)
On the Informativeness of Supervision Signals [31.418827619510036]
我々は情報理論を用いて、多くの一般的な監視信号が表現学習のパフォーマンスにどのように貢献するかを比較する。我々のフレームワークは、ビッグデータシステムにおいてハードラベルを使用するための理論的正当性を提供するが、よりリッチな監視信号により、数発の学習とアウト・オブ・ディストリビューションの一般化を実現している。
論文参考訳（メタデータ） (2022-11-02T18:02:31Z)
Knowledge-based Document Classification with Shannon Entropy [0.0]
そこで我々は,シャノン・エントロピーを用いた知識ベースモデルを提案し,情報の豊かさを計測し,一様で多様なキーワードマッチングを好む。シャノンエントロピーは偽陽性率の一定レベルにおいてリコールを著しく改善することを示す。
論文参考訳（メタデータ） (2022-06-06T05:39:10Z)
Gacs-Korner Common Information Variational Autoencoder [102.89011295243334]
本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を提案する。画像やビデオなどの高次元データでも意味論的に意味のある共通要素や特徴要因を学習できることを実証する。
論文参考訳（メタデータ） (2022-05-24T17:47:26Z)
Computing Rule-Based Explanations of Machine Learning Classifiers using Knowledge Graphs [62.997667081978825]
我々は、機械学習分類器の動作を説明する用語を提供する基盤となるフレームワークとして知識グラフを使用している。特に,知識グラフの用語で表される一階述語論理規則の形で,ブラックボックスの説明を抽出し,表現するための新しい手法を提案する。
論文参考訳（メタデータ） (2022-02-08T16:21:49Z)
A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文参考訳（メタデータ） (2021-09-08T18:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。