論文の概要: Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.16724v1
• Date: Thu, 20 Mar 2025 21:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:10.516512
• Title: Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
• Title（参考訳）: 視覚言語モデルによる強化学習における意味解釈の自動化に向けて
• Authors: Zhaoxin Li, Zhang Xi-Jia, Batuhan Altundas, Letian Chen, Rohan Paleja, Matthew Gombolay,
• Abstract要約: 視覚言語モデルを用いた意味論的解釈型強化学習(SILVA)について紹介する。 SILVAは、事前学習された視覚言語モデル(VLM)を意味的特徴抽出やポリシー最適化のためのツリーベースモデルに活用する自動化フレームワークである。
• 参考スコア（独自算出の注目度）: 1.8032335403003321
• License:
• Abstract: Semantic Interpretability in Reinforcement Learning (RL) enables transparency, accountability, and safer deployment by making the agent's decisions understandable and verifiable. Achieving this, however, requires a feature space composed of human-understandable concepts, which traditionally rely on human specification and fail to generalize to unseen environments. In this work, we introduce Semantically Interpretable Reinforcement Learning with Vision-Language Models Empowered Automation (SILVA), an automated framework that leverages pre-trained vision-language models (VLM) for semantic feature extraction and interpretable tree-based models for policy optimization. SILVA first queries a VLM to identify relevant semantic features for an unseen environment, then extracts these features from the environment. Finally, it trains an Interpretable Control Tree via RL, mapping the extracted features to actions in a transparent and interpretable manner. To address the computational inefficiency of extracting features directly with VLMs, we develop a feature extraction pipeline that generates a dataset for training a lightweight convolutional network, which is subsequently used during RL. By leveraging VLMs to automate tree-based RL, SILVA removes the reliance on human annotation previously required by interpretable models while also overcoming the inability of VLMs alone to generate valid robot policies, enabling semantically interpretable reinforcement learning without human-in-the-loop.
• Abstract（参考訳）: 強化学習(RL)における意味的解釈可能性(Semantic Interpretability in Reinforcement Learning)は、エージェントの決定を理解し、検証可能にすることによって、透明性、説明可能性、より安全なデプロイメントを可能にする。 しかし、これを実現するには、伝統的に人間仕様に依存し、目に見えない環境への一般化に失敗する、人間の理解可能な概念からなる機能空間が必要である。 本研究では,SILVA(Semantically Interpretable Reinforcement Learning with Vision-Language Models Empowered Automation)を提案する。 SILVAはまずVLMに問い合わせて、目に見えない環境の関連するセマンティックな特徴を特定し、環境からこれらの特徴を抽出する。 最後に、RLを介して解釈可能なコントロールツリーをトレーニングし、抽出された特徴を透明で解釈可能な方法でアクションにマッピングする。 本稿では,VLMによる特徴抽出の計算効率の低下に対処するため,軽量畳み込みネットワークをトレーニングするためのデータセットを生成する特徴抽出パイプラインを開発した。 木ベースのRLを自動化するためにVLMを活用することで、SILVAは、解釈可能なモデルでこれまで必要とされていた人間のアノテーションへの依存を取り除くと同時に、VLMだけで有効なロボットポリシーを生成することができないことを克服し、ヒューマン・イン・ザ・ループなしで意味論的に解釈可能な強化学習を可能にする。

関連論文リスト

• Sparse Autoencoder Features for Classifications and Transferability [11.2185030332009]
  大規模言語モデル(LLM)からの特徴抽出のためのスパースオートエンコーダ(SAE)の解析 本フレームワークは,(1)モデル層選択とスケーリング特性,(2)幅とプール戦略を含むSAEアーキテクチャ構成,(3)連続SAE活性化のバイナライズ効果を評価する。
  論文  参考訳（メタデータ） (2025-02-17T02:30:45Z)
• RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception [20.01853641155509]
  自然言語命令に基づくアプリケーション固有の視覚的グラウンドニングのための視覚言語モデル(VLM)は、学習可能な自律システムにおいて最も一般的なアプローチの1つである。 本稿では, 強化学習(RL)エージェントと統合することにより, VLMファインチューニングを改善するための新しい一般化可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-31T04:30:42Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
  簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。 本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
  論文  参考訳（メタデータ） (2024-02-19T14:02:31Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• AS-XAI: Self-supervised Automatic Semantic Interpretation for CNN [5.42467030980398]
  本稿では,自動意味解釈人工知能(AS-XAI)フレームワークを提案する。 モデル決定のグローバルな意味解釈には、透過的な埋め込み意味抽出空間と行中心主成分分析(PCA)を用いる。 提案手法は, 流通圏内における共通意味論的解釈を含む, 広範囲な実践的応用を提供する。
  論文  参考訳（メタデータ） (2023-12-02T10:06:54Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Planning for Learning Object Properties [117.27898922118946]
  我々は、物体特性を象徴的な計画問題として認識するために、ニューラルネットワークを自動的に訓練する問題を定式化する。 トレーニングデータセット作成と学習プロセスを自動化するための戦略を作成するために,計画手法を使用します。 シミュレーションと実環境の両方で実験的な評価を行う。
  論文  参考訳（メタデータ） (2023-01-15T09:37:55Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。