論文の概要: Causal Knowledge Transfer from Task Affinity

• arxiv url: http://arxiv.org/abs/2210.00380v1
• Date: Sat, 1 Oct 2022 21:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 14:32:27.578435
• Title: Causal Knowledge Transfer from Task Affinity
• Title（参考訳）: タスク親和性からの因果的知識伝達
• Authors: Ahmed Aloui, Juncheng Dong, Cat P. Le, Vahid Tarokh
• Abstract要約: 本研究では,従来の実験から限られたデータしか利用できない新たなシナリオへの因果的知識の移行について検討する。 数値的な結果から, 因果知識の伝達により, スクラッチからのトレーニングと比較して, 必要なデータ量を最大95%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 26.641151407806458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent developments in deep representation models through counterfactual balancing have led to a promising framework for estimating Individual Treatment Effects (ITEs) that are essential to causal inference in the Neyman-Rubin potential outcomes framework. While Randomized Control Trials are vital to understanding causal effects, they are sometimes infeasible, costly, or unethical to conduct. Motivated by these potential obstacles to data acquisition, we focus on transferring the causal knowledge acquired in prior experiments to new scenarios for which only limited data is available. To this end, we first observe that the absolute values of ITEs are invariant under the action of the symmetric group on the labels of treatments. Given this invariance, we propose a symmetrized task distance for calculating the similarity of a target scenario with those encountered before. The aforementioned task distance is then used to transfer causal knowledge from the closest of all the available previously learned tasks to the target scenario. We provide upper bounds on the counterfactual loss and ITE error of the target task indicating the transferability of causal knowledge. Empirical studies are provided for various real-world, semi-synthetic, and synthetic datasets demonstrating that the proposed symmetrized task distance is strongly related to the estimation of the counterfactual loss. Numerical results indicate that transferring causal knowledge reduces the amount of required data by up to 95% when compared to training from scratch. These results reveal the promise of our method when applied to important albeit challenging real-world scenarios such as transferring the knowledge of treatment effects (e.g., medicine, social policy, personal training, etc.) studied on a population to other groups absent in the study.
• Abstract（参考訳）: 反事実的バランスによる深層表現モデルの最近の発展は、ニーマン・ルービンポテンシャルフレームワークにおける因果推論に不可欠な個々の治療効果(ites)を推定するための有望な枠組みにつながった。 ランダム化制御試験は因果効果を理解するのに不可欠であるが、実行に不利、費用がかかる、非倫理的な場合もある。 このようなデータ取得の潜在的な障害に動機づけられて,先行実験で得られた因果知識を,限られたデータのみ利用可能な新たなシナリオに移行することに注力する。 この目的のために、我々はまず、ITEの絶対値が、治療のラベル上の対称群の作用の下で不変であることを観察する。 この不変性から,対象シナリオと先行するシナリオの類似性を計算するための対称性付きタスク距離を提案する。 上記のタスク距離は、予め学習された全てのタスクの最も近い部分から目的のシナリオに因果的知識を転送するために使用される。 因果知識の伝達可能性を示す対象タスクの非事実的損失と ite エラーの上限を提供する。 種々の実世界, 半合成, 合成データセットに対して実証的研究を行い, 提案した対称性付きタスク距離が, 対物損失の推定と強く関連していることを示す。 数値的な結果から, 因果知識の伝達により, スクラッチからのトレーニングと比較して, 必要なデータ量を最大95%削減できることがわかった。 これらの結果から, 治療効果の知識(医学, 社会政策, パーソナルトレーニングなど)を, 研究に欠場した他のグループに移管するなど, 現実のシナリオに挑戦しつつも, 本手法が適用できる可能性が示唆された。

関連論文リスト

• Proxy-informed Bayesian transfer learning with unknown sources [18.264598332579748]
  確率的伝達学習(PROMPT)のためのプロキシインフォームドロバスト手法を提案する。 PROMPTは、学習者が目標タスクから結果情報にアクセスすることなしに、対象タスクの構造に合わせた後続予測推定を提供する。 本稿では, この再重み付けが負転移のリスクに及ぼす影響を理論的に評価し, 2つの合成条件におけるPROMPTの適用を実証する。
  論文  参考訳（メタデータ） (2024-11-05T17:02:29Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks [24.041268664220294]
  畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。 本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。 本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
  論文  参考訳（メタデータ） (2021-10-25T07:18:26Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels [44.036667329736225]
  既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。 これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。 本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:43:58Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。