Fugu-MT 論文翻訳(概要): Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning

論文の概要: Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning

arxiv url: http://arxiv.org/abs/2408.03819v1
Date: Wed, 7 Aug 2024 14:55:04 GMT
ステータス: 処理完了
システム内更新日: 2024-08-08 12:54:35.743700
Title: Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning
Title（参考訳）: 最適能動学習のための対実データ拡張における変分理論の活用
Authors: Simret Araya Gebreegziabher, Kuangshi Ai, Zheng Zhang, Elena L. Glassman, Toby Jia-Jun Li,
Abstract要約: アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。本稿では,ALに反実データ拡張手法を提案する。
参考スコア（独自算出の注目度）: 19.962212551963383
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Active Learning (AL) allows models to learn interactively from user feedback. This paper introduces a counterfactual data augmentation approach to AL, particularly addressing the selection of datapoints for user querying, a pivotal concern in enhancing data efficiency. Our approach is inspired by Variation Theory, a theory of human concept learning that emphasizes the essential features of a concept by focusing on what stays the same and what changes. Instead of just querying with existing datapoints, our approach synthesizes artificial datapoints that highlight potential key similarities and differences among labels using a neuro-symbolic pipeline combining large language models (LLMs) and rule-based models. Through an experiment in the example domain of text classification, we show that our approach achieves significantly higher performance when there are fewer annotated data. As the annotated training data gets larger the impact of the generated data starts to diminish showing its capability to address the cold start problem in AL. This research sheds light on integrating theories of human learning into the optimization of AL.
Abstract（参考訳）: アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。本稿では,ALに反実的データ拡張アプローチを導入し,特にユーザクエリのためのデータポイントの選択に対処する。我々のアプローチは、概念の本質的特徴を強調する人間の概念学習の理論である変分理論にインスパイアされている。既存のデータポイントに問い合わせるのではなく、大きな言語モデル(LLM)とルールベースモデルを組み合わせたニューラルシンボリックパイプラインを用いて、ラベル間の潜在的な鍵となる類似点と相違点を強調する人工データポイントを合成する。テキスト分類のサンプル領域における実験により,注釈付きデータが少ない場合に,本手法が著しく高い性能を達成することを示す。注釈付きトレーニングデータが大きくなると、ALのコールドスタート問題に対処する能力を示すために生成されたデータの影響が減少し始める。この研究は、ALの最適化に人間の学習理論を統合することに光を当てている。

関連論文リスト

Data-Centric Human Preference Optimization with Rationales [23.243583332894737]
人間のフィードバックからの強化学習は、言語モデルを人間の好みに合わせる上で重要な役割を担っている。この作業は、データ中心のアプローチによる好み学習の改善に重点を移す。我々は、選択の背景にある理由を説明する機械生成論理を用いて、既存の嗜好データセットを豊かにすることを提案する。
論文参考訳（メタデータ） (2024-07-19T17:27:52Z)
Empowering Graph Invariance Learning with Deep Spurious Infomax [27.53568333416706]
本稿では,頑健かつ一般的な帰納バイアスを誘発する新しいグラフ不変性学習パラダイムを提案する。 EQuADは、合成データセットにおける様々なバイアスの度合いにまたがって安定したパフォーマンスを示し、実世界のデータセットに最大311.76%の価格で挑戦する。
論文参考訳（メタデータ） (2024-07-13T14:18:47Z)
Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate [40.5601980891318]
一般化は依然として機械学習における中心的な課題である。本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。 LoTはこの概念を運用し、補助的な学生学習者によるメインモデルの一般化を改善する。
論文参考訳（メタデータ） (2024-02-05T07:05:17Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
EiHi Net: Out-of-Distribution Generalization Paradigm [6.33280703577189]
EiHi netは、どんな視覚的バックボーンでも祝福できるモデル学習パラダイムである。本稿では,ディープラーニングにおけるOoD(Out-of-distriion)の一般化問題を解決するために,新しいEeiHiネットを開発した。
論文参考訳（メタデータ） (2022-09-29T17:08:12Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文参考訳（メタデータ） (2022-05-02T14:42:05Z)
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文参考訳（メタデータ） (2022-02-22T02:51:11Z)
Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文参考訳（メタデータ） (2021-10-09T09:02:45Z)
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文参考訳（メタデータ） (2020-11-23T12:52:18Z)
Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文参考訳（メタデータ） (2020-03-28T05:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。