論文の概要: Rethinking Knowledge Transfer in Learning Using Privileged Information

• arxiv url: http://arxiv.org/abs/2408.14319v1
• Date: Mon, 26 Aug 2024 14:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:41:26.217675
• Title: Rethinking Knowledge Transfer in Learning Using Privileged Information
• Title（参考訳）: 原始情報を用いた学習における知識伝達の再考
• Authors: Danil Provodin, Bram van den Akker, Christina Katsimerou, Maurits Kaptein, Mykola Pechenizkiy,
• Abstract要約: 教師付き機械学習において、特権情報(英: privileged information, PI)とは、推論時に利用できないが、訓練期間中に利用できる情報である。 特権情報(LUPI)を用いた学習の研究は、PIで取得した知識をPIなしで推論できるモデルに転送することを目的としている。 LUPIがいつ動作するべきかという理論的根拠はほとんどない。
• 参考スコア（独自算出の注目度）: 13.073942036130486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In supervised machine learning, privileged information (PI) is information that is unavailable at inference, but is accessible during training time. Research on learning using privileged information (LUPI) aims to transfer the knowledge captured in PI onto a model that can perform inference without PI. It seems that this extra bit of information ought to make the resulting model better. However, finding conclusive theoretical or empirical evidence that supports the ability to transfer knowledge using PI has been challenging. In this paper, we critically examine the assumptions underlying existing theoretical analyses and argue that there is little theoretical justification for when LUPI should work. We analyze LUPI methods and reveal that apparent improvements in empirical risk of existing research may not directly result from PI. Instead, these improvements often stem from dataset anomalies or modifications in model design misguidedly attributed to PI. Our experiments for a wide variety of application domains further demonstrate that state-of-the-art LUPI approaches fail to effectively transfer knowledge from PI. Thus, we advocate for practitioners to exercise caution when working with PI to avoid unintended inductive biases.
• Abstract（参考訳）: 教師付き機械学習において、特権情報(英: privileged information, PI)とは、推論時に利用できないが、訓練期間中に利用できる情報である。 特権情報(LUPI)を用いた学習の研究は、PIで取得した知識をPIなしで推論できるモデルに転送することを目的としている。 この余分な情報によって、結果のモデルが改善されるはずだ。 しかし、PIを用いて知識を伝達する能力を支持する決定的な理論的または経験的な証拠を見つけることは困難である。 本稿では,既存の理論解析の前提となる仮定を批判的に検討し,LUPIがいつ動作するべきかという理論的根拠はほとんどないと主張している。 我々はLUPI法を解析し、既存の研究の実証的リスクの明らかな改善がPIに直接影響しないことを明らかにする。 代わりに、これらの改善は、PIに誤って帰属するモデル設計におけるデータセットの異常や修正に由来することが多い。 様々なアプリケーション領域に対する実験により、最先端のLUPIアプローチがPIからの知識を効果的に伝達できないことがさらに証明された。 そこで我々は,意図しない帰納的バイアスを避けるため,PIと共同作業する場合に注意を喚起する。

関連論文リスト

• Demystifying Reinforcement Learning in Production Scheduling via Explainable AI [0.7515066610159392]
  深層強化学習(Dep Reinforcement Learning, DRL)はスケジューリング問題の解法としてよく用いられる手法である。 DRLエージェントは、短い計算時間で実行可能な結果を提供するのが得意だが、その推論はいまだに不透明である。 フロー生産における特殊DRLエージェントのスケジューリング決定の背後にある理由を説明するために,2つの説明可能なAI(xAI)フレームワークを適用した。
  論文  参考訳（メタデータ） (2024-08-19T09:39:01Z)
• Semantic are Beacons: A Semantic Perspective for Unveiling Parameter-Efficient Fine-Tuning in Knowledge Learning [30.831866499812925]
  本稿では,PEFTの知識学習課題における制約の背景にある理由を明らかにするために,意味論的視点を提案する。 PEFTは、モデルを意図した知識ターゲットから遠ざけるという顕著なリスクを提示している。 本研究では,知識学習に有害なデータを排除するためのデータフィルタリング戦略と,意味的距離に注意を向けるための再重み付き学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-28T15:47:11Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Unveiling the Potential of Counterfactuals Explanations in Employability [0.0]
  本稿では,機械学習アルゴリズムに関わる雇用性関連問題に対して,その対策が適用可能であることを示す。 提示されたユースケースは、説明として反事実の応用以上のものだ。
  論文  参考訳（メタデータ） (2023-05-17T09:13:53Z)
• When does Privileged Information Explain Away Label Noise? [66.9725683097357]
  ラベルノイズを除去する際のPIの特性の違いによる役割について検討する。 ネットワークがノイズの多いデータとクリーンなデータを容易に区別できる場合、PIが最も役立ちます。 本稿では,最新のPI手法のいくつかの改良を提案し,ラベルノイズに対処する手段としてのPIの可能性を示す。
  論文  参考訳（メタデータ） (2023-03-03T09:25:39Z)
• Evaluation of Induced Expert Knowledge in Causal Structure Learning by NOTEARS [1.5469452301122175]
  非パラメトリックNOTEARSモデルの定式化に使用される追加制約の形で、専門家の知識が因果関係に与える影響について検討する。 その結果, (i) NOTEARSモデルの誤りを正す知識は, 統計的に有意な改善をもたらすこと, (ii) アクティブエッジに対する制約は, 非アクティブエッジよりも因果発見に肯定的な影響を与えること, (iii) 意外なことに, (iii) 誘導された知識は, 平均的な不正確なアクティブエッジおよび/または非アクティブエッジに対して予想以上に正確でないことが判明した。
  論文  参考訳（メタデータ） (2023-01-04T20:39:39Z)
• Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning [0.0]
  モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。 本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。 精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-28T03:45:09Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
  ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。 この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。 決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
  論文  参考訳（メタデータ） (2021-02-23T08:07:22Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills [155.11646755470582]
  情報理論的スキル発見の代替手法として,'Explore, Discover and Learn'(EDL)がある。 本稿では,EDLがカバレッジ問題を克服し,学習スキルの初期状態への依存を減らし,ユーザが学習すべき行動について事前定義できるようにするなど,大きなメリットがあることを示す。
  論文  参考訳（メタデータ） (2020-02-10T10:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。