論文の概要: LICORICE: Label-Efficient Concept-Based Interpretable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.15786v2
• Date: Thu, 20 Mar 2025 07:50:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:25.730394
• Title: LICORICE: Label-Efficient Concept-Based Interpretable Reinforcement Learning
• Title（参考訳）: licorICE: ラベル効率の良い概念ベース解釈型強化学習
• Authors: Zhuorui Ye, Stephanie Milani, Geoffrey J. Gordon, Fei Fang,
• Abstract要約: 本稿では,RLエージェントがアノテータに少量のデータをラベル付けするだけで,概念ベースのポリシーを効率的に学習できる新しいトレーニング手法を提案する。 我々のアルゴリズムであるlicORICEは、概念学習とRLトレーニングのインターリーブ、アンサンブルを使用してラベル付けのための情報的データポイントを積極的に選択し、概念データをデコレーションする3つの主な貢献を含んでいる。
• 参考スコア（独自算出の注目度）: 38.05773318621547
• License:
• Abstract: Recent advances in reinforcement learning (RL) have predominantly leveraged neural network policies for decision-making, yet these models often lack interpretability, posing challenges for stakeholder comprehension and trust. Concept bottleneck models offer an interpretable alternative by integrating human-understandable concepts into policies. However, prior work assumes that concept annotations are readily available during training. For RL, this requirement poses a significant limitation: it necessitates continuous real-time concept annotation, which either places an impractical burden on human annotators or incurs substantial costs in API queries and inference time when employing automated labeling methods. To overcome this limitation, we introduce a novel training scheme that enables RL agents to efficiently learn a concept-based policy by only querying annotators to label a small set of data. Our algorithm, LICORICE, involves three main contributions: interleaving concept learning and RL training, using an ensemble to actively select informative data points for labeling, and decorrelating the concept data. We show how LICORICE reduces human labeling efforts to 500 or fewer concept labels in three environments, and 5000 or fewer in two more complex environments, all at no cost to performance. We also explore the use of VLMs as automated concept annotators, finding them effective in some cases but imperfect in others. Our work significantly reduces the annotation burden for interpretable RL, making it more practical for real-world applications that necessitate transparency.
• Abstract（参考訳）: 強化学習(RL)の最近の進歩は、意思決定にニューラルネットワークのポリシーを主に活用しているが、これらのモデルは解釈可能性に欠け、ステークホルダーの理解と信頼の難しさを浮き彫りにしている。 概念ボトルネックモデルは、人間の理解可能な概念をポリシーに統合することで、解釈可能な代替手段を提供する。 しかしながら、事前の作業では、概念アノテーションはトレーニング中に簡単に利用できると仮定している。 これは、人間のアノテーションに非現実的な負担をかけるか、APIクエリのかなりのコストと自動ラベリングメソッドを採用する際の推論時間を引き起こす。 この制限を克服するために、RLエージェントがアノテータに小さなデータセットをラベル付けするだけで、概念ベースのポリシーを効率的に学習できる新しいトレーニングスキームを導入する。 我々のアルゴリズムであるlicORICEは、概念学習とRLトレーニングのインターリーブ、アンサンブルを使用してラベル付けのための情報的データポイントを積極的に選択し、概念データをデコレーションする3つの主な貢献を含んでいる。 licORICEは,3つの環境において500以上の概念ラベルに,さらに2つの複雑な環境において5000以下の概念ラベルに,人によるラベル付けの労力を削減できることを示す。 また、VLMを自動概念アノテータとして使用することについても検討し、いくつかのケースでは有効であるが、他のケースでは不完全であることを示す。 我々の研究は、解釈可能なRLに対するアノテーションの負担を大幅に減らし、透明性を必要とする現実世界のアプリケーションにとってより実用的になる。

関連論文リスト

• Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions [7.3784937557132855]
  概念ベースモデル(CBM)は、ラベルの予測に使用される画像などの高次元データから解釈可能な概念を学習する。 CBMにおける重要な問題は、概念リーク、すなわち学習された概念の急激な情報であり、事実上「間違った」概念を学ぶことにつながる。 本稿では,学習概念の正しさと必要なラベル数に関する理論的保証を提供する枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-02-10T15:01:56Z)
• Concept Induction using LLMs: a user experiment for assessment [1.1982127665424676]
  本研究では,人間に対する説明として意味のある高レベルな概念を生成するために,LLM(Large Language Model)の可能性を探る。 我々は、LLMによって生成された概念を、人間によって生成された概念とECII概念誘導システムという、他の2つの方法と比較する。 人為的な説明は依然として優れているが, GPT-4 から派生した概念は, ECII が生成した概念よりも人間にとって理解しやすいことが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T03:22:02Z)
• Concept Distillation: Leveraging Human-Centered Explanations for Model Improvement [3.026365073195727]
  概念活性化ベクトル(Concept Activation Vectors, CAV)は、ある概念に対するモデルの感度と潜在的なバイアスを推定する。 微調整によりモデルバイアスを低減するため,CAVをポストホック解析からアンテホックトレーニングに拡張する。 本稿では,いくつかの分類問題に対する概念感受性トレーニングの応用について述べる。
  論文  参考訳（メタデータ） (2023-11-26T14:00:14Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• Active Refinement for Multi-Label Learning: A Pseudo-Label Approach [84.52793080276048]
  MLL(Multi-label Learning)は、あるインスタンスと関連するラベルを一連の概念から関連付けることを目的としている。 MLLの以前の研究は、主に概念セットが修正されると思われる設定に焦点を当てていた。 多くの現実世界のアプリケーションは、新しい要求を満たすために新しい概念をセットに導入する必要がある。
  論文  参考訳（メタデータ） (2021-09-29T19:17:05Z)
• Learning Interpretable Concept-Based Models with Human Feedback [36.65337734891338]
  本研究では,ユーザが概念特徴をラベル付けすることに依存する高次元データにおいて,透明な概念定義の集合を学習するためのアプローチを提案する。 提案手法は,概念の意味を直感的に理解する概念と一致し,透過的な機械学習モデルにより下流ラベルの予測を容易にする概念を生成する。
  論文  参考訳（メタデータ） (2020-12-04T23:41:05Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
  本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。 視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2020-07-03T05:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。