Fugu-MT 論文翻訳(概要): Iterative Teaching by Data Hallucination

論文の概要: Iterative Teaching by Data Hallucination

arxiv url: http://arxiv.org/abs/2210.17467v2
Date: Wed, 12 Apr 2023 20:49:44 GMT
ステータス: 処理完了
システム内更新日: 2023-04-14 17:25:42.504028
Title: Iterative Teaching by Data Hallucination
Title（参考訳）: データ幻覚による反復指導
Authors: Zeju Qiu, Weiyang Liu, Tim Z. Xiao, Zhen Liu, Umang Bhatt, Yucen Luo, Adrian Weller, Bernhard Sch\"olkopf
Abstract要約: 本稿では,教師が学習者の状況に基づいた事例を逐次提示する反復型機械教育の課題について考察する。本稿では,教師がラベルや学習者の状況,目標概念に基づいて,知的に入力データを生成することのできるデータ幻覚教育(DHT)を提案する。
参考スコア（独自算出の注目度）: 37.246902903546896
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the problem of iterative machine teaching, where a teacher sequentially provides examples based on the status of a learner under a discrete input space (i.e., a pool of finite samples), which greatly limits the teacher's capability. To address this issue, we study iterative teaching under a continuous input space where the input example (i.e., image) can be either generated by solving an optimization problem or drawn directly from a continuous distribution. Specifically, we propose data hallucination teaching (DHT) where the teacher can generate input data intelligently based on labels, the learner's status and the target concept. We study a number of challenging teaching setups (e.g., linear/neural learners in omniscient and black-box settings). Extensive empirical results verify the effectiveness of DHT.
Abstract（参考訳）: 本稿では,教師が個別の入力空間(すなわち有限サンプルのプール)における学習者の状況に基づく事例を逐次提供し,教師の能力を大幅に制限する反復型機械指導の課題について考察する。この問題に対処するため,我々は,最適化問題を解くことによって入力例(画像)を生成するか,あるいは連続分布から直接描画できる連続入力空間下で反復学習を行う。具体的には,教師がラベルや学習者の状況,対象概念に基づいて知的に入力データを生成できるデータ幻覚教育(DHT)を提案する。本研究は,多くの難易度の高い学習環境(例えば,全知的およびブラックボックス設定におけるリニア/ニューラル学習者)について検討する。大規模な実験によりDHTの有効性が検証された。

関連論文リスト

When Babies Teach Babies: Can student knowledge sharing outperform Teacher-Guided Distillation on small datasets? [0.0]
我々は,データ効率のよい言語モデル事前学習の限界を推し進めることを目的として,BabyLMチャレンジに提案する。重み付き相互学習を二段階最適化問題として定式化することにより、生徒の平等な待遇の限界に対処する。評価の結果、教師なしの手法は教師が指導する手法と一致したり、超えたりできることがわかった。
論文参考訳（メタデータ） (2024-11-25T15:25:31Z)
YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文参考訳（メタデータ） (2024-01-28T14:32:15Z)
DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving [64.57963116462757]
最先端の手法は通常、教師-学生のパラダイムに従う。学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
論文参考訳（メタデータ） (2023-08-01T09:21:53Z)
Active Teacher for Semi-Supervised Object Detection [80.10937030195228]
半教師対象検出(SSOD)のための能動教師と呼ばれる新しいアルゴリズムを提案する。 Active Teacherは、教師/学生のフレームワークを反復的なバージョンに拡張し、ラベルセットを部分的に段階的に拡張し、ラベルなし例の3つの重要な要素を評価する。この設計により、Active Teacherは、擬似ラベルの品質を改善しながら、限られたラベル情報の効果を最大化することができる。
論文参考訳（メタデータ） (2023-03-15T03:59:27Z)
Random Teachers are Good Teachers [19.74244993871716]
自己蒸留における教師-学生の学習力学によって引き起こされる暗黙の正規化について検討する。このような無作為な教師に学生を蒸留する際には,その教師に対して高い精度で蒸留した生徒の強い改善を観察する。
論文参考訳（メタデータ） (2023-02-23T15:26:08Z)
Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
論文参考訳（メタデータ） (2023-01-27T22:07:38Z)
Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
論文参考訳（メタデータ） (2022-12-11T06:22:14Z)
Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文参考訳（メタデータ） (2022-09-20T16:36:28Z)
Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。本稿では,計量学習問題に対する知識蒸留について述べる。従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
論文参考訳（メタデータ） (2020-07-10T10:59:16Z)
Role-Wise Data Augmentation for Knowledge Distillation [48.115719640111394]
知識蒸留(KD)は、ある機械学習モデルから学んだ知識を別の機械学習モデルに転送する一般的な方法である。我々は、知識蒸留を促進するために、異なる役割を持つデータ増強剤を設計する。特別に調整されたデータポイントが、教師の知識をより効果的に生徒に示せることを実証的に見出した。
論文参考訳（メタデータ） (2020-04-19T14:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。