論文の概要: Unifying Approaches in Data Subset Selection via Fisher Information and Information-Theoretic Quantities

• arxiv url: http://arxiv.org/abs/2208.00549v1
• Date: Mon, 1 Aug 2022 00:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:30:44.238088
• Title: Unifying Approaches in Data Subset Selection via Fisher Information and Information-Theoretic Quantities
• Title（参考訳）: 漁業情報と情報理論量によるデータサブセット選択の統一的アプローチ
• Authors: Andreas Kirsch, Yarin Gal
• Abstract要約: 我々はフィッシャー情報を再検討し、それを用いて、他のいくつかの異なる方法が情報理論量の近似としてどのように接続されているかを示す。 データサブセットの選択、すなわち、アクティブラーニングとアクティブサンプリングでは、いくつかの最近の研究はフィッシャー情報、ヘッセン、勾配に基づく類似度行列、あるいは単に勾配長を用いてサンプル選択を導いた取得スコアを計算する。
• 参考スコア（独自算出の注目度）: 38.59619544501593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The mutual information between predictions and model parameters -- also referred to as expected information gain or BALD in machine learning -- measures informativeness. It is a popular acquisition function in Bayesian active learning and Bayesian optimal experiment design. In data subset selection, i.e. active learning and active sampling, several recent works use Fisher information, Hessians, similarity matrices based on the gradients, or simply the gradient lengths to compute the acquisition scores that guide sample selection. Are these different approaches connected, and if so how? In this paper, we revisit the Fisher information and use it to show how several otherwise disparate methods are connected as approximations of information-theoretic quantities.
• Abstract（参考訳）: 予測とモデルパラメータ間の相互情報 - 予測情報ゲイン、あるいは機械学習におけるBALD - は、情報量を測定する。 ベイジアン能動学習とベイジアン最適実験設計において一般的な獲得関数である。 データサブセットの選択、すなわち、アクティブラーニングとアクティブサンプリングでは、いくつかの最近の研究はフィッシャー情報、ヘッセン、勾配に基づく類似度行列、あるいは単に勾配長を用いてサンプル選択を導いた取得スコアを計算する。 これらの異なるアプローチは結び付いているのでしょうか? 本稿では,フィッシャー情報を再検討し,それを用いて情報理論量の近似として複数の異なる手法がどのように接続されているかを示す。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Towards Bayesian Data Selection [0.0]
  例えば、セミ教師付き学習、アクティブラーニング、マルチアームのバンディット、ベイズ最適化などがある。 意思決定問題としてデータ選択をフレーミングすることで、このようなデータ追加を意思決定理論に組み込む。 半教師付き学習における自己学習の具体例について,各ベイズ基準を導出する。
  論文  参考訳（メタデータ） (2024-06-18T12:40:15Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
  我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:08:36Z)
• Diminishing Uncertainty within the Training Pool: Active Learning for Medical Image Segmentation [6.3858225352615285]
  医用画像データセットのセグメンテーション作業におけるアクティブラーニングについて検討する。 トレーニングデータセットをバイアスする不確実データの頻度の増大、入力画像間の相互情報を正規化として利用すること、およびスタイン変動勾配降下(SVGD)のためのダイスログの類似性(Dice log-likelihood)の適応という3つの新しいアクティブ学習戦略を提案する。 その結果、データセット毎に利用可能なデータの22.69 %と48.85 %をそれぞれ使用しながら、完全な精度を達成することで、データ削減の観点での改善が示された。
  論文  参考訳（メタデータ） (2021-01-07T01:55:48Z)
• A Tutorial on Learning With Bayesian Networks [8.98526174345299]
  ベイズネットワークは、興味のある変数間の確率的関係を符号化するグラフィカルモデルである。 ベイズネットワークは因果関係の学習に利用できる。 また、問題領域の理解を得、介入の結果を予測するためにも使用できる。
  論文  参考訳（メタデータ） (2020-02-01T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。