論文の概要: Feedback Coding for Active Learning

• arxiv url: http://arxiv.org/abs/2103.00654v1
• Date: Sun, 28 Feb 2021 23:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 22:31:42.118566
• Title: Feedback Coding for Active Learning
• Title（参考訳）: アクティブラーニングのためのフィードバックコーディング
• Authors: Gregory Canal, Matthieu Bloch, Christopher Rozell
• Abstract要約: アクティブなサンプル選択タスクに最適なトランスポートベースのフィードバックコーディングスキームを開発しています。 各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を示す。
• 参考スコア（独自算出の注目度）: 15.239252118069762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The iterative selection of examples for labeling in active machine learning is conceptually similar to feedback channel coding in information theory: in both tasks, the objective is to seek a minimal sequence of actions to encode information in the presence of noise. While this high-level overlap has been previously noted, there remain open questions on how to best formulate active learning as a communications system to leverage existing analysis and algorithms in feedback coding. In this work, we formally identify and leverage the structural commonalities between the two problems, including the characterization of encoder and noisy channel components, to design a new algorithm. Specifically, we develop an optimal transport-based feedback coding scheme called Approximate Posterior Matching (APM) for the task of active example selection and explore its application to Bayesian logistic regression, a popular model in active learning. We evaluate APM on a variety of datasets and demonstrate learning performance comparable to existing active learning methods, at a reduced computational cost. These results demonstrate the potential of directly deploying concepts from feedback channel coding to design efficient active learning strategies.
• Abstract（参考訳）: アクティブ機械学習におけるラベル付けの例の反復的な選択は、情報理論におけるフィードバックチャネル符号化と概念的に類似している。 このハイレベルな重複は以前にも指摘されているが、既存の分析とアルゴリズムをフィードバックコーディングに活用するために、コミュニケーションシステムとしてアクティブラーニングを最適に定式化する方法についての疑問が残されている。 本研究では,エンコーダとノイズチャネル成分のキャラクタリゼーションを含む2つの問題間の構造的共通性を形式的に同定・活用し,新しいアルゴリズムを考案する。 具体的には、アクティブサンプル選択のタスクに対して、最適なトランスポートベースのフィードバックコーディングスキームであるApproximate Posterior Matching(APM)を開発し、アクティブラーニングで人気のモデルであるBayesian Logistic Regressionへの適用を検討する。 各種データセット上でAPMを評価し,既存のアクティブラーニング手法に匹敵する学習性能を計算コストの削減で実証した。 これらの結果は、フィードバックチャネルコーディングから効率的なアクティブラーニング戦略の設計まで、概念を直接デプロイする可能性を示しています。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Online inductive learning from answer sets for efficient reinforcement learning exploration [52.03682298194168]
  エージェントポリシーの近似を説明可能な近似を表す論理規則の集合を学習するために,帰納的な解集合プログラムの学習を利用する。 次に、学習ルールに基づいて回答セット推論を行い、次のバッチで学習エージェントの探索をガイドします。 本手法は,初回トレーニングにおいても,エージェントが達成した割引リターンを著しく向上させる。
  論文  参考訳（メタデータ） (2025-01-13T16:13:22Z)
• MALADY: Multiclass Active Learning with Auction Dynamics on Graphs [0.9831489366502301]
  効率的なアクティブラーニングのためのマルチクラスアクティブラーニングとオークション・ダイナミクス・オン・グラフ(MALADY)フレームワークを提案する。 我々は[24]における半教師付き学習のための類似性グラフ上のオークションダイナミクスアルゴリズムを一般化し、より一般的な最適化関数を組み込む。 また,オークションアルゴリズムの双対変数を用いて,分類器内の不確実性を測定し,異なるクラス間の決定境界付近のクエリを優先順位付けする,新しい能動的学習獲得関数を導入する。
  論文  参考訳（メタデータ） (2024-09-14T16:20:26Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Interactive Learning from Activity Description [11.068923430996575]
  本稿では,要求充足エージェントを言語的に記述することで,要求充足エージェントの訓練を可能にする対話型学習プロトコルを提案する。 我々のプロトコルは、模倣学習(IL)や強化学習(RL)といった従来のアルゴリズムと相補的な優位性を提供する対話型学習アルゴリズムの新しいファミリーを生み出している。 我々は,このプロトコルを実践的に実装し,純粋に言語記述フィードバックを用いた2つの要求充足問題をエージェントに訓練するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-02-13T22:51:11Z)
• Semi-supervised Batch Active Learning via Bilevel Optimization [89.37476066973336]
  両レベル最適化によるデータ要約問題として,本手法を定式化する。 本手法は,ラベル付きサンプルがほとんど存在しない場合,レジーム内のキーワード検出タスクにおいて極めて有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-19T16:53:24Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping [4.5497948012757865]
  本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。 このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。 我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-01-15T19:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。