論文の概要: InFiConD: Interactive No-code Fine-tuning with Concept-based Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2406.17838v1
- Date: Tue, 25 Jun 2024 16:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 15:37:10.287421
- Title: InFiConD: Interactive No-code Fine-tuning with Concept-based Knowledge Distillation
- Title（参考訳）: InFiConD:概念に基づく知識蒸留による対話型ノーコードファインタニング
- Authors: Jinbin Huang, Wenbin He, Liang Gou, Liu Ren, Chris Bryan,
- Abstract要約: 本稿では,知識蒸留プロセスの実装に視覚的概念を活用する新しいフレームワークであるInFiConDを提案する。
本研究では,概念コーパスからテキストに沿った視覚概念を抽出し,新しい知識蒸留パイプラインを構築する。
InFiConDのインタフェースは、ユーザインタフェース内で概念の影響を直接操作することで、対話的に学生モデルを微調整することができる。
- 参考スコア（独自算出の注目度）: 18.793275018467163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of large-scale pre-trained models has heightened their application in various downstream tasks, yet deployment is a challenge in environments with limited computational resources. Knowledge distillation has emerged as a solution in such scenarios, whereby knowledge from large teacher models is transferred into smaller student' models, but this is a non-trivial process that traditionally requires technical expertise in AI/ML. To address these challenges, this paper presents InFiConD, a novel framework that leverages visual concepts to implement the knowledge distillation process and enable subsequent no-code fine-tuning of student models. We develop a novel knowledge distillation pipeline based on extracting text-aligned visual concepts from a concept corpus using multimodal models, and construct highly interpretable linear student models based on visual concepts that mimic a teacher model in a response-based manner. InFiConD's interface allows users to interactively fine-tune the student model by manipulating concept influences directly in the user interface. We validate InFiConD via a robust usage scenario and user study. Our findings indicate that InFiConD's human-in-the-loop and visualization-driven approach enables users to effectively create and analyze student models, understand how knowledge is transferred, and efficiently perform fine-tuning operations. We discuss how this work highlights the potential of interactive and visual methods in making knowledge distillation and subsequent no-code fine-tuning more accessible and adaptable to a wider range of users with domain-specific demands.
- Abstract（参考訳）: 大規模事前学習モデルの出現により、様々な下流タスクにおける応用が高まったが、計算資源が限られている環境での展開は困難である。
このようなシナリオでは知識蒸留が解法として現れており、大きな教師モデルからの知識はより小さな生徒のモデルに移されるが、これは従来AI/MLの技術的専門知識を必要とする非自明なプロセスである。
これらの課題に対処するため,本研究では,知識蒸留プロセスの実装に視覚的概念を活用する新しいフレームワークであるInFiConDを提案する。
マルチモーダルモデルを用いた概念コーパスからテキスト整列型視覚概念を抽出し,教師モデルに類似した視覚概念に基づく高度に解釈可能な線形学習者モデルを構築した。
InFiConDのインタフェースは、ユーザインタフェース内で概念の影響を直接操作することで、対話的に学生モデルを微調整することができる。
InFiConDは,ロバストな利用シナリオとユーザスタディを通じて検証する。
InFiConDのヒューマン・イン・ザ・ループ(Human-in-the-loop)とビジュアライゼーション(ビジュアライゼーション(ビジュアライゼーション)によるアプローチにより,学生モデルの効率的な作成と分析,知識の伝達方法の理解,微調整操作の効率化が実現された。
本研究は,知識蒸留における対話的および視覚的手法の可能性を強調し,その後,ドメイン固有の要求を持つ幅広いユーザに対して,よりアクセシブルで適応可能なノーコードファインタニングについて論じる。
関連論文リスト
- Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving [52.808273563372126]
本稿では,新しい階層型バードアイビュー(BEV)知覚パラダイムを提案する。
基本的な知覚モジュールとユーザフレンドリなグラフィカルインターフェースのライブラリを提供することを目指している。
我々は,大規模公開データセットと合理化開発プロセスを効果的に活用するために,Pretrain-Finetune戦略を実行している。
論文 参考訳（メタデータ） (2024-07-17T11:17:20Z) - Restyling Unsupervised Concept Based Interpretable Networks with Generative Models [14.604305230535026]
本稿では,事前学習された生成モデルの潜在空間に概念特徴をマッピングすることに依存する新しい手法を提案する。
本手法の有効性を,解釈可能な予測ネットワークの精度,再現性,学習概念の忠実性,一貫性の観点から定量的に検証した。
論文 参考訳（メタデータ） (2024-07-01T14:39:41Z) - Interaction as Explanation: A User Interaction-based Method for Explaining Image Classification Models [1.3597551064547502]
コンピュータビジョンでは、説明可能なAI(xAI)手法は「ブラックボックス」問題を緩和しようとする。
従来のxAI手法は、モデル予測に影響を与える入力特徴の可視化に重点を置いている。
本稿では,画像分類モデルのユーザ理解を深めるインタラクションベースのxAI手法を提案する。
論文 参考訳（メタデータ） (2024-04-15T14:26:00Z) - Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。
近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。
しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。
これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-18T07:28:37Z) - Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。
本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。
この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
論文 参考訳（メタデータ） (2024-01-09T16:16:16Z) - Generative Model-based Feature Knowledge Distillation for Action
Recognition [11.31068233536815]
本稿では,軽量学生モデルの学習のための生成モデルを用いた,革新的な知識蒸留フレームワークについて紹介する。
提案手法の有効性は,多種多様な人気データセットに対する総合的な実験によって実証される。
論文 参考訳（メタデータ） (2023-12-14T03:55:29Z) - InterVLS: Interactive Model Understanding and Improvement with Vision-Language Surrogates [18.793275018467163]
ディープラーニングモデルは重要なアプリケーションで広く使われており、事前デプロイモデルの理解と改善の必要性を強調している。
視覚的な概念ベースのメソッドは、この目的のためにますます使われてきているが、(1)ほとんどの概念は解釈可能性に欠け、(2)既存のメソッドはモデル知識を必要とし、しばしば実行時に利用できない。
本稿では,テキストに整合した概念を発見し,モデルに依存しない線形サロゲートによる影響を測定することによって,モデル理解を容易にするInterVLSを提案する。
論文 参考訳（メタデータ） (2023-11-06T21:30:59Z) - Distilling Knowledge from Self-Supervised Teacher by Embedding Graph
Alignment [52.704331909850026]
我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。
自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。
蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
論文 参考訳（メタデータ） (2022-11-23T19:27:48Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳（メタデータ） (2020-08-21T05:30:48Z) - A Competence-aware Curriculum for Visual Concepts Learning via Question
Answering [95.35905804211698]
本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。
視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。
CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
論文 参考訳（メタデータ） (2020-07-03T05:08:09Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。