論文の概要: LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics

• arxiv url: http://arxiv.org/abs/2305.03212v1
• Date: Thu, 4 May 2023 23:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 15:46:13.620943
• Title: LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics
• Title（参考訳）: llm2loss: 説明可能なモデル診断に言語モデルを活用する
• Authors: Shervin Ardeshir
• Abstract要約: 我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trained on a vast amount of data, Large Language models (LLMs) have achieved unprecedented success and generalization in modeling fairly complex textual inputs in the abstract space, making them powerful tools for zero-shot learning. Such capability is extended to other modalities such as the visual domain using cross-modal foundation models such as CLIP, and as a result, semantically meaningful representation are extractable from visual inputs. In this work, we leverage this capability and propose an approach that can provide semantic insights into a model's patterns of failures and biases. Given a black box model, its training data, and task definition, we first calculate its task-related loss for each data point. We then extract a semantically meaningful representation for each training data point (such as CLIP embeddings from its visual encoder) and train a lightweight diagnosis model which maps this semantically meaningful representation of a data point to its task loss. We show that an ensemble of such lightweight models can be used to generate insights on the performance of the black-box model, in terms of identifying its patterns of failures and biases.
• Abstract（参考訳）: 膨大な量のデータに基づいて訓練されたLarge Language Model (LLM)は、抽象空間におけるかなり複雑なテキスト入力のモデリングにおいて、前例のない成功と一般化を達成し、ゼロショット学習のための強力なツールとなった。 このような機能は、CLIPのようなクロスモーダル基盤モデルを用いて視覚ドメインのような他のモダリティに拡張され、結果として視覚入力から意味的に意味のある表現を抽出できる。 本研究では,この機能を活用し,モデルの障害パターンとバイアスに関する意味的な洞察を提供するアプローチを提案する。 ブラックボックスモデルとそのトレーニングデータ、タスク定義が与えられた場合、まず、各データポイントのタスク関連損失を計算します。 次に、各トレーニングデータポイント(例えば、そのビジュアルエンコーダからCLIP埋め込み)について意味論的意味のある表現を抽出し、この意味論的意味のあるデータポイントの表現をタスク損失にマッピングする軽量診断モデルを訓練する。 このような軽量モデルのアンサンブルは、故障やバイアスのパターンを識別する点において、ブラックボックスモデルの性能に関する洞察を生み出すのに有効であることを示す。

関連論文リスト

• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Self-Supervision based Task-Specific Image Collection Summarization [3.115375810642661]
  本稿では,意味情報と自己スーパービジョンを用いたタスク固有画像コーパス要約手法を提案する。 特徴生成ネットワークとして,分類に基づくWasserstein generation adversarial Network (WGAN) を用いる。 モデルは、セマンティック埋め込み空間におけるK平均クラスタリングを用いて、推論時に要約を生成する。
  論文  参考訳（メタデータ） (2020-12-19T10:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。