論文の概要: Reciprocal Learning

• arxiv url: http://arxiv.org/abs/2408.06257v3
• Date: Fri, 1 Nov 2024 20:48:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 11:38:16.841383
• Title: Reciprocal Learning
• Title（参考訳）: 相互学習
• Authors: Julian Rodemann, Christoph Jansen, Georg Schollmeyer,
• Abstract要約: 我々は、機械学習アルゴリズムが1つのパラダイムの特定の例であることを示す。 本稿では,これらのアルゴリズムの一般化として,決定論の言語を用いた相互学習を紹介する。 相反学習アルゴリズムは、損失関数の比較的軽度な仮定の下で、線形速度でほぼ最適なモデルに収束する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We demonstrate that a wide array of machine learning algorithms are specific instances of one single paradigm: reciprocal learning. These instances range from active learning over multi-armed bandits to self-training. We show that all these algorithms do not only learn parameters from data but also vice versa: They iteratively alter training data in a way that depends on the current model fit. We introduce reciprocal learning as a generalization of these algorithms using the language of decision theory. This allows us to study under what conditions they converge. The key is to guarantee that reciprocal learning contracts such that the Banach fixed-point theorem applies. In this way, we find that reciprocal learning algorithms converge at linear rates to an approximately optimal model under relatively mild assumptions on the loss function, if their predictions are probabilistic and the sample adaption is both non-greedy and either randomized or regularized. We interpret these findings and provide corollaries that relate them to specific active learning, self-training, and bandit algorithms.
• Abstract（参考訳）: 我々は、幅広い機械学習アルゴリズムが1つのパラダイムの特定の例であることを示した。 これらのインスタンスは、マルチアームのバンディットに関するアクティブな学習から、自己学習まで多岐にわたる。 これらのアルゴリズムは、データからパラメータを学習するだけでなく、その逆も示す: 現在のモデルに適合する方法で、トレーニングデータを反復的に変更する。 本稿では,これらのアルゴリズムの一般化として,決定論の言語を用いた相互学習を紹介する。 これにより、どの条件で収束するかを研究できます。 鍵となるのは、バナッハの不動点定理が適用されるような相互学習契約を保証することである。 このようにして、相反学習アルゴリズムは損失関数の比較的穏やかな仮定の下で線形速度でほぼ最適モデルに収束する。 我々はこれらの知見を解釈し、特定のアクティブラーニング、自己学習、およびバンディットのアルゴリズムに関連づけられたコースを提供する。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• ModelDiff: A Framework for Comparing Learning Algorithms [86.19580801269036]
  そこでは,2つの異なる学習アルゴリズムを用いて学習したモデルの違いを見つけることを目的とする。 トレーニングデータの使用方法に基づいて学習アルゴリズムを比較するために,データモデルフレームワークを利用するModelDiffを提案する。
  論文  参考訳（メタデータ） (2022-11-22T18:56:52Z)
• Neural Active Learning on Heteroskedastic Distributions [29.01776999862397]
  ヘテロスケダスティックデータセット上でのアクティブ学習アルゴリズムの破滅的な失敗を実証する。 本稿では,各データポイントにモデル差分スコアリング関数を組み込んで,ノイズの多いサンプルとサンプルクリーンなサンプルをフィルタするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-02T07:30:19Z)
• Improved Robust Algorithms for Learning with Discriminative Feature Feedback [21.58493386054356]
  識別的特徴フィードバック(英: Discriminative Feature Feedback)は、人間の教師によって提供される特徴説明に基づく対話型学習のためのプロトコルである。 我々は、識別的特徴フィードバックモデルのための、新しい堅牢な対話型学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-09-08T12:11:12Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• A Theory of Universal Learning [26.51949485387526]
  普遍的な学習の確率は3つしかないことを示す。 任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
  論文  参考訳（メタデータ） (2020-11-09T15:10:32Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。