論文の概要: Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
- arxiv url: http://arxiv.org/abs/2503.16724v2
- Date: Tue, 03 Jun 2025 17:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:09.054888
- Title: Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
- Title（参考訳）: 視覚言語モデルによる強化学習における意味解釈の自動化に向けて
- Authors: Zhaoxin Li, Zhang Xi-Jia, Batuhan Altundas, Letian Chen, Rohan Paleja, Matthew Gombolay,
- Abstract要約: 自動概念抽出(iTRACE)による解釈可能な木に基づく強化学習を導入する。
iTRACEは、セマンティックな特徴抽出のための事前学習された視覚言語モデル(VLM)と、ポリシー最適化のための解釈可能なツリーベースモデルを使用する。
iTRACEは、同じ解釈可能な機能を使用してベースラインを上回り、CNNベースのポリシーのパフォーマンスにマッチする。
- 参考スコア（独自算出の注目度）: 1.8032335403003321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic interpretability in Reinforcement Learning (RL) enables transparency and verifiability by making the agent's decisions understandable and verifiable. Achieving this, however, requires a feature space composed of human-understandable concepts, which traditionally rely on human specification and may fail to generalize to unseen environments. We introduce interpretable Tree-based Reinforcement learning via Automated Concept Extraction (iTRACE), an automated framework that leverages pre-trained vision-language models (VLM) for semantic feature extraction and interpretable tree-based models for policy optimization. iTRACE first extracts semantically meaningful features, then maps them to policies via interpretable trees. To address the impracticality of running VLMs in RL loops, we distill their outputs into a lightweight model. By leveraging Vision-Language Models (VLMs) to automate tree-based reinforcement learning, iTRACE eliminates the need for human annotation traditionally required by interpretable models, while also addressing the limitations of VLMs alone, such as their lack of grounding in action spaces and inability to directly optimize policies. iTRACE outperforms MLP baselines that use the same interpretable features and matches the performance of CNN-based policies, producing verifiable, semantically interpretable, and human-aligned behaviors without requiring human annotation.
- Abstract（参考訳）: 強化学習(RL)における意味的解釈可能性(Semantic Interpretability in Reinforcement Learning)は、エージェントの判断を理解し、検証可能にすることによって、透明性と妥当性を実現する。
しかし、これを達成するためには、伝統的に人間仕様に依存しており、目に見えない環境に一般化することができない、人間の理解可能な概念からなる特徴空間が必要である。
本稿では,事前学習された視覚言語モデル(VLM)を意味的特徴抽出に活用する自動フレームワークであるAutomated Concept extract (iTRACE)による解釈可能なツリーベース強化学習と,ポリシー最適化のための解釈可能なツリーベースモデルを紹介する。
iTRACEはまず意味のある特徴を抽出し、解釈可能な木を通してポリシーにマップする。
RLループ上でのVLMの実行の非現実性に対処するため,これらの出力を軽量なモデルに蒸留する。
木に基づく強化学習を自動化するためにビジョンランゲージモデル(VLM)を活用することで、iTRACEは、解釈可能なモデルによって伝統的に必要とされる人間のアノテーションの必要性を排除し、また、アクション空間の基盤の欠如やポリシーを直接最適化することができないといったVLMの制限にも対処する。
iTRACEは、同じ解釈可能な機能を使用し、CNNベースのポリシーのパフォーマンスに匹敵するMPPベースラインを上回り、人間のアノテーションを必要とせず、検証可能で、意味的に解釈可能で、人間に沿った振る舞いを生成する。
関連論文リスト
- LANGTRAJ: Diffusion Model and Dataset for Language-Conditioned Trajectory Simulation [94.84458417662404]
LangTrajは、トラフィックシナリオにおけるすべてのエージェントの共同動作をシミュレートする、言語条件のシーン拡散モデルである。
自然言語入力を条件付けすることで、LangTrajはインタラクティブな振る舞いを柔軟かつ直感的に制御できる。
LangTraj氏は、リアリズム、言語制御性、言語条件の安全クリティカルなシミュレーションにおいて、強力なパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-04-15T17:14:06Z) - Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models [50.587868616659826]
スパースオートエンコーダ (SAEs) は,大規模言語モデル (LLMs) の解釈可能性と操舵性を向上させることが示されている。
本研究では,SAEをCLIPなどの視覚言語モデル(VLM)に適用し,視覚表現における単意味性を評価するための総合的な枠組みを導入する。
論文 参考訳（メタデータ） (2025-04-03T17:58:35Z) - Proposition of Affordance-Driven Environment Recognition Framework Using Symbol Networks in Large Language Models [1.2430809884830318]
本研究では,大規模言語モデル(LLM)を活用した自動割当獲得手法を提案する。
例として「リンゴ」を用いた実験は、高い説明性で文脈依存の余裕を抽出する手法の能力を実証した。
論文 参考訳（メタデータ） (2025-04-02T11:48:44Z) - Sparse Autoencoder Features for Classifications and Transferability [11.2185030332009]
大規模言語モデル(LLM)からの特徴抽出のためのスパースオートエンコーダ(SAE)の解析
本フレームワークは,(1)モデル層選択とスケーリング特性,(2)幅とプール戦略を含むSAEアーキテクチャ構成,(3)連続SAE活性化のバイナライズ効果を評価する。
論文 参考訳（メタデータ） (2025-02-17T02:30:45Z) - RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception [20.01853641155509]
自然言語命令に基づくアプリケーション固有の視覚的グラウンドニングのための視覚言語モデル(VLM)は、学習可能な自律システムにおいて最も一般的なアプローチの1つである。
本稿では, 強化学習(RL)エージェントと統合することにより, VLMファインチューニングを改善するための新しい一般化可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-31T04:30:42Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文 参考訳（メタデータ） (2024-06-06T17:59:56Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - AS-XAI: Self-supervised Automatic Semantic Interpretation for CNN [5.42467030980398]
本稿では,自動意味解釈人工知能(AS-XAI)フレームワークを提案する。
モデル決定のグローバルな意味解釈には、透過的な埋め込み意味抽出空間と行中心主成分分析(PCA)を用いる。
提案手法は, 流通圏内における共通意味論的解釈を含む, 広範囲な実践的応用を提供する。
論文 参考訳（メタデータ） (2023-12-02T10:06:54Z) - SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文 参考訳（メタデータ） (2023-10-01T00:52:24Z) - Artificial-Spiking Hierarchical Networks for Vision-Language
Representation Learning [16.902924543372713]
最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。
本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。
実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-18T10:40:25Z) - Planning for Learning Object Properties [117.27898922118946]
我々は、物体特性を象徴的な計画問題として認識するために、ニューラルネットワークを自動的に訓練する問題を定式化する。
トレーニングデータセット作成と学習プロセスを自動化するための戦略を作成するために,計画手法を使用します。
シミュレーションと実環境の両方で実験的な評価を行う。
論文 参考訳（メタデータ） (2023-01-15T09:37:55Z) - PEVL: Position-enhanced Pre-training and Prompt Tuning for
Vision-language Models [127.17675443137064]
PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。
PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。
PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
論文 参考訳（メタデータ） (2022-05-23T10:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。