論文の概要: Concept-Based Interpretable Reinforcement Learning with Limited to No Human Labels

• arxiv url: http://arxiv.org/abs/2407.15786v1
• Date: Mon, 22 Jul 2024 16:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 14:00:56.276817
• Title: Concept-Based Interpretable Reinforcement Learning with Limited to No Human Labels
• Title（参考訳）: 人間ラベルに制限のない概念に基づく解釈可能強化学習
• Authors: Zhuorui Ye, Stephanie Milani, Geoffrey J. Gordon, Fei Fang,
• Abstract要約: 本稿では,RLアルゴリズムが概念ベースのポリシーを効率的に学習することのできる,新しい学習手法を提案する。 我々のアルゴリズムであるlicORICEは、概念学習とRLトレーニングをインターリーブし、概念アンサンブルを使用して、ラベル付けのための情報的データポイントを積極的に選択する。 licORICEは,3つの環境において,手動ラベリングの取り組みを500以上のコンセプトラベルに減らすかを示す。
• 参考スコア（独自算出の注目度）: 38.05773318621547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in reinforcement learning (RL) have predominantly leveraged neural network-based policies for decision-making, yet these models often lack interpretability, posing challenges for stakeholder comprehension and trust. Concept bottleneck models offer an interpretable alternative by integrating human-understandable concepts into neural networks. However, a significant limitation in prior work is the assumption that human annotations for these concepts are readily available during training, necessitating continuous real-time input from human annotators. To overcome this limitation, we introduce a novel training scheme that enables RL algorithms to efficiently learn a concept-based policy by only querying humans to label a small set of data, or in the extreme case, without any human labels. Our algorithm, LICORICE, involves three main contributions: interleaving concept learning and RL training, using a concept ensembles to actively select informative data points for labeling, and decorrelating the concept data with a simple strategy. We show how LICORICE reduces manual labeling efforts to to 500 or fewer concept labels in three environments. Finally, we present an initial study to explore how we can use powerful vision-language models to infer concepts from raw visual inputs without explicit labels at minimal cost to performance.
• Abstract（参考訳）: 強化学習(RL)の最近の進歩は、意思決定のためのニューラルネットワークベースのポリシーを主に活用しているが、これらのモデルは解釈可能性に欠けており、ステークホルダーの理解と信頼の難しさを浮き彫りにしている。 概念ボトルネックモデルは、人間の理解可能な概念をニューラルネットワークに統合することで、解釈可能な代替手段を提供する。 しかしながら、先行研究における重要な制限は、これらの概念に対する人間のアノテーションは、トレーニング中に容易に利用でき、人間のアノテーションから連続的なリアルタイム入力を必要とするという仮定である。 この制限を克服するために、RLアルゴリズムは、人間に小さなデータセットをラベル付けさせるだけで、あるいは極端に、人間ラベルなしで、概念ベースのポリシーを効率的に学習できる新しいトレーニングスキームを導入する。 我々のアルゴリズムであるlicORICEは、概念学習とRLトレーニングのインターリーブ、概念アンサンブルを使用してラベル付けのための情報的データポイントを積極的に選択し、概念データを単純な戦略でデコレーションする3つの主な貢献を含んでいる。 licORICEは,3つの環境において,手動ラベリングの取り組みを500以上のコンセプトラベルに減らすかを示す。 最後に,視覚モデルを用いて,明示的なラベルを最小限のコストで生の視覚入力から概念を推論する方法について検討する。

関連論文リスト

• Concept Induction using LLMs: a user experiment for assessment [1.1982127665424676]
  本研究では,人間に対する説明として意味のある高レベルな概念を生成するために,LLM(Large Language Model)の可能性を探る。 我々は、LLMによって生成された概念を、人間によって生成された概念とECII概念誘導システムという、他の2つの方法と比較する。 人為的な説明は依然として優れているが, GPT-4 から派生した概念は, ECII が生成した概念よりも人間にとって理解しやすいことが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T03:22:02Z)
• Generalized Label-Efficient 3D Scene Parsing via Hierarchical Feature Aligned Pre-Training and Region-Aware Fine-tuning [55.517000360348725]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 室内と屋外の両方で実験を行ったところ、データ効率のよい学習とオープンワールドの複数ショット学習の両方において、我々のアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Concept Distillation: Leveraging Human-Centered Explanations for Model Improvement [3.026365073195727]
  概念活性化ベクトル(Concept Activation Vectors, CAV)は、ある概念に対するモデルの感度と潜在的なバイアスを推定する。 微調整によりモデルバイアスを低減するため,CAVをポストホック解析からアンテホックトレーニングに拡張する。 本稿では,いくつかの分類問題に対する概念感受性トレーニングの応用について述べる。
  論文  参考訳（メタデータ） (2023-11-26T14:00:14Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• Learning Interpretable Concept-Based Models with Human Feedback [36.65337734891338]
  本研究では,ユーザが概念特徴をラベル付けすることに依存する高次元データにおいて,透明な概念定義の集合を学習するためのアプローチを提案する。 提案手法は,概念の意味を直感的に理解する概念と一致し,透過的な機械学習モデルにより下流ラベルの予測を容易にする概念を生成する。
  論文  参考訳（メタデータ） (2020-12-04T23:41:05Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。