論文の概要: Language in a Bottle: Language Model Guided Concept Bottlenecks for
Interpretable Image Classification
- arxiv url: http://arxiv.org/abs/2211.11158v1
- Date: Mon, 21 Nov 2022 03:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 17:42:45.541613
- Title: Language in a Bottle: Language Model Guided Concept Bottlenecks for
Interpretable Image Classification
- Title(参考訳): ボトル内の言語:解釈可能な画像分類のための言語モデルガイド型概念ボトルネック
- Authors: Yue Yang, Artemis Panagopoulou, Shenghao Zhou, Daniel Jin, Chris
Callison-Burch, Mark Yatskar
- Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、モデル決定を人間可読な概念に分解する。
CBMは手動で指定した概念を必要とし、しばしばブラックボックスよりも性能が低い。
ブラックボックスモデルに類似した精度のマニュアル仕様を使わずに高性能なCBMを構築する方法について述べる。
- 参考スコア(独自算出の注目度): 28.63880112615905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept Bottleneck Models (CBM) are inherently interpretable models that
factor model decisions into human-readable concepts. They allow people to
easily understand why a model is failing, a critical feature for high-stakes
applications. CBMs require manually specified concepts and often under-perform
their black box counterparts, preventing their broad adoption. We address these
shortcomings and are first to show how to construct high-performance CBMs
without manual specification of similar accuracy to black box models. Our
approach, Language Guided Bottlenecks (LaBo), leverages a language model,
GPT-3, to define a large space of possible bottlenecks. Given a problem domain,
LaBo uses GPT-3 to produce factual sentences about categories to form candidate
concepts. LaBo efficiently searches possible bottlenecks through a novel
submodular utility that promotes the selection of discriminative and diverse
information. Ultimately, GPT-3's sentential concepts can be aligned to images
using CLIP, to form a bottleneck layer. Experiments demonstrate that LaBo is a
highly effective prior for concepts important to visual recognition. In the
evaluation with 11 diverse datasets, LaBo bottlenecks excel at few-shot
classification: they are 11.7% more accurate than black box linear probes at 1
shot and comparable with more data. Overall, LaBo demonstrates that inherently
interpretable models can be widely applied at similar, or better, performance
than black box approaches.
- Abstract(参考訳): 概念ボトルネックモデル(cbm)は本質的に解釈可能なモデルであり、モデル決定を人間の可読概念に分解する。
これにより、モデルが失敗した理由を簡単に理解できるようになる。
CBMは手動で指定した概念を必要とし、しばしばブラックボックスの能力に劣る。
まず,ブラックボックスモデルと同様の精度を手作業で指定することなく,高性能なcbmを構築する方法を示す。
当社のアプローチであるlanguage guided bottlenecks(labo)は、言語モデルgpt-3を活用して、可能なボトルネックの大きな空間を定義します。
問題領域が与えられた場合、LaBoはGPT-3を使用してカテゴリに関する事実文を生成し、候補概念を形成する。
laboは、識別的かつ多様な情報の選択を促進する新しいサブモジュラーユーティリティを通じて、可能なボトルネックを効率的に検索する。
最終的に、GPT-3の知覚概念は、CLIPを使用して画像に整列してボトルネック層を形成することができる。
実験により、LaBoは視覚認識にとって重要な概念の非常に効果的な事前であることが示された。
11の多様なデータセットによる評価では、LaBoボトルネックは数ショットの分類で優れており、1ショットでのブラックボックス線形プローブよりも11.7%正確で、より多くのデータに匹敵する。
全体として、LaBoはブラックボックスアプローチよりも、本質的に解釈可能なモデルが、同じような、あるいはより良いパフォーマンスで広く適用可能であることを示した。
関連論文リスト
- Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [9.002523763052848]
本稿では,すでに訓練済みのニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
本稿では,概念に基づく介入の有効性の尺度として,モデルの介入可能性について定式化する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
論文 参考訳(メタデータ) (2024-01-24T16:02:14Z) - Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation [71.21346469382821]
ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
論文 参考訳(メタデータ) (2023-12-26T06:31:28Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳(メタデータ) (2023-11-18T15:50:07Z) - Can Large Language Models Follow Concept Annotation Guidelines? A Case
Study on Scientific and Financial Domains [23.40876690980701]
文ラベリングタスクのコンテキスト内概念ガイドラインに従うための命令調整型言語モデルの能力について検討する。
以上の結果から,概念定義はタスク性能に一貫して寄与するが,実際のコンテキスト下での作業能力に制限があるのは大規模モデルのみであることが示唆された。
論文 参考訳(メタデータ) (2023-11-15T05:11:26Z) - Knowledge Distillation of Large Language Models [123.36847200257805]
知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。
より小さな言語モデルにLPMを蒸留するKD手法を提案する。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
論文 参考訳(メタデータ) (2023-06-14T14:44:03Z) - POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained
models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。
本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文 参考訳(メタデータ) (2023-04-29T22:05:22Z) - An Interpretable Loan Credit Evaluation Method Based on Rule
Representation Learner [8.08640000394814]
我々は、Lending ClubデータセットのRRL(Rule Representation)に基づいて、本質的に解釈可能なモデルを設計する。
トレーニング中、私たちは以前の研究から、バイナリウェイトを効果的にトレーニングするためのトリックを学びました。
本モデルは,ポストホック法により生成された説明の正当性を検証するために用いられる。
論文 参考訳(メタデータ) (2023-04-03T05:55:04Z) - Specializing Smaller Language Models towards Multi-Step Reasoning [56.78474185485288]
GPT-3.5 (ge$ 175B) から T5 変種 (le$ 11B) までを蒸留できることを示す。
対象タスクに対するモデルの能力を専門化するモデル特殊化を提案する。
論文 参考訳(メタデータ) (2023-01-30T08:51:19Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Does language help generalization in vision models? [0.0]
非常に大きな教師付き画像データセット(ImageNet-21k)で訓練された視覚モデルは、そのマルチモーダル画像データセット(CLIP)と同じくらい効率的に一般化できることを示す。
他の標準的な視覚モデルや言語モデルと比較すると、BiT-Mの潜在表現はCLIPと同じ「言語」であることが判明した。
論文 参考訳(メタデータ) (2021-04-16T18:54:14Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳(メタデータ) (2021-03-11T06:47:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。