論文の概要: Feedback Coding for Active Learning
- arxiv url: http://arxiv.org/abs/2103.00654v1
- Date: Sun, 28 Feb 2021 23:00:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 22:31:42.118566
- Title: Feedback Coding for Active Learning
- Title(参考訳): アクティブラーニングのためのフィードバックコーディング
- Authors: Gregory Canal, Matthieu Bloch, Christopher Rozell
- Abstract要約: アクティブなサンプル選択タスクに最適なトランスポートベースのフィードバックコーディングスキームを開発しています。
各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を示す。
- 参考スコア(独自算出の注目度): 15.239252118069762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The iterative selection of examples for labeling in active machine learning
is conceptually similar to feedback channel coding in information theory: in
both tasks, the objective is to seek a minimal sequence of actions to encode
information in the presence of noise. While this high-level overlap has been
previously noted, there remain open questions on how to best formulate active
learning as a communications system to leverage existing analysis and
algorithms in feedback coding. In this work, we formally identify and leverage
the structural commonalities between the two problems, including the
characterization of encoder and noisy channel components, to design a new
algorithm. Specifically, we develop an optimal transport-based feedback coding
scheme called Approximate Posterior Matching (APM) for the task of active
example selection and explore its application to Bayesian logistic regression,
a popular model in active learning. We evaluate APM on a variety of datasets
and demonstrate learning performance comparable to existing active learning
methods, at a reduced computational cost. These results demonstrate the
potential of directly deploying concepts from feedback channel coding to design
efficient active learning strategies.
- Abstract(参考訳): アクティブ機械学習におけるラベル付けの例の反復的な選択は、情報理論におけるフィードバックチャネル符号化と概念的に類似している。
このハイレベルな重複は以前にも指摘されているが、既存の分析とアルゴリズムをフィードバックコーディングに活用するために、コミュニケーションシステムとしてアクティブラーニングを最適に定式化する方法についての疑問が残されている。
本研究では,エンコーダとノイズチャネル成分のキャラクタリゼーションを含む2つの問題間の構造的共通性を形式的に同定・活用し,新しいアルゴリズムを考案する。
具体的には、アクティブサンプル選択のタスクに対して、最適なトランスポートベースのフィードバックコーディングスキームであるApproximate Posterior Matching(APM)を開発し、アクティブラーニングで人気のモデルであるBayesian Logistic Regressionへの適用を検討する。
各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を計算コストの削減で実証した。
これらの結果は、フィードバックチャネルコーディングから効率的なアクティブラーニング戦略の設計まで、概念を直接デプロイする可能性を示しています。
関連論文リスト
- Learning to Rank for Active Learning via Multi-Task Bilevel Optimization [29.207101107965563]
データ取得のための学習代理モデルを用いて、ラベルのないインスタンスのバッチを選択することを目的とした、アクティブな学習のための新しいアプローチを提案する。
このアプローチにおける重要な課題は、ユーティリティ関数の入力の一部を構成するデータの歴史が時間とともに増大するにつれて、よく一般化する取得関数を開発することである。
論文 参考訳(メタデータ) (2023-10-25T22:50:09Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳(メタデータ) (2023-01-04T05:34:48Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳(メタデータ) (2022-11-01T03:20:28Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Interactive Learning from Activity Description [11.068923430996575]
本稿では,要求充足エージェントを言語的に記述することで,要求充足エージェントの訓練を可能にする対話型学習プロトコルを提案する。
我々のプロトコルは、模倣学習(IL)や強化学習(RL)といった従来のアルゴリズムと相補的な優位性を提供する対話型学習アルゴリズムの新しいファミリーを生み出している。
我々は,このプロトコルを実践的に実装し,純粋に言語記述フィードバックを用いた2つの要求充足問題をエージェントに訓練するアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-02-13T22:51:11Z) - Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
両レベル最適化によるデータ要約問題として,本手法を定式化する。
本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
論文 参考訳(メタデータ) (2020-10-19T16:53:24Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳(メタデータ) (2020-09-07T16:47:30Z) - Bayesian active learning for production, a systematic study and a
reusable library [85.32971950095742]
本稿では,現在のアクティブラーニング技術の主な欠点について分析する。
実世界のデータセットの最も一般的な課題が深層能動学習プロセスに与える影響について,系統的研究を行った。
部分的不確実性サンプリングやより大きいクエリサイズといった,アクティブな学習ループを高速化する2つの手法を導出する。
論文 参考訳(メタデータ) (2020-06-17T14:51:11Z) - Model-based Multi-Agent Reinforcement Learning with Cooperative
Prioritized Sweeping [4.5497948012757865]
本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。
このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。
我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
論文 参考訳(メタデータ) (2020-01-15T19:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。