論文の概要: What's Left? Concept Grounding with Logic-Enhanced Foundation Models

• arxiv url: http://arxiv.org/abs/2310.16035v1
• Date: Tue, 24 Oct 2023 17:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 17:29:02.991205
• Title: What's Left? Concept Grounding with Logic-Enhanced Foundation Models
• Title（参考訳）: 残りは何だ? 論理強化基礎モデルによる概念接地
• Authors: Joy Hsu, Jiayuan Mao, Joshua B. Tenenbaum, Jiajun Wu
• Abstract要約: 本稿では,ドメインに依存しない一階述語論理型プログラムを用いて,ドメイン間の概念を基礎と推論するために学習する統一フレームワークを提案する。 LEFTは,2次元画像,3次元シーン,人間の動き,ロボット操作という4つの領域で,柔軟に概念を学習する。
• 参考スコア（独自算出の注目度）: 76.74146485832125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works such as VisProg and ViperGPT have smartly composed foundation models for visual reasoning-using large language models (LLMs) to produce programs that can be executed by pre-trained vision-language models. However, they operate in limited domains, such as 2D images, not fully exploiting the generalization of language: abstract concepts like "left" can also be grounded in 3D, temporal, and action data, as in moving to your left. This limited generalization stems from these inference-only methods' inability to learn or adapt pre-trained models to a new domain. We propose the Logic-Enhanced Foundation Model (LEFT), a unified framework that learns to ground and reason with concepts across domains with a differentiable, domain-independent, first-order logic-based program executor. LEFT has an LLM interpreter that outputs a program represented in a general, logic-based reasoning language, which is shared across all domains and tasks. LEFT's executor then executes the program with trainable domain-specific grounding modules. We show that LEFT flexibly learns concepts in four domains: 2D images, 3D scenes, human motions, and robotic manipulation. It exhibits strong reasoning ability in a wide variety of tasks, including those that are complex and not seen during training, and can be easily applied to new domains.
• Abstract（参考訳）: VisProgやViperGPTといった最近の研究は、視覚推論を用いた大規模言語モデル(LLM)の基礎モデルを巧みに構成し、事前学習された視覚言語モデルで実行可能なプログラムを生成する。 しかし、それらは2D画像のような限られた領域で動作し、言語の一般化を完全に活用していない:"左"のような抽象的な概念は、左へ移動するときのように、3D、時間、行動データにも根ざすことができる。 この限定的な一般化は、これらの推論のみのメソッドが、事前学習されたモデルを新しいドメインに学習または適応できないことに起因する。 本稿では,ドメインに依存しない一階述語論理ベースのプログラムエグゼキュータを持つドメイン間の概念を基礎として,論理拡張基礎モデル(LEFT)を提案する。 LEFTにはLLMインタプリタがあり、全てのドメインとタスク間で共有される一般的な論理ベースの推論言語で表されるプログラムを出力する。 LEFTのエグゼキュータは、トレーニング可能なドメイン固有のグラウンドモジュールでプログラムを実行する。 LEFTは2次元画像,3次元シーン,人間の動作,ロボット操作の4つの領域で,柔軟に概念を学習する。 訓練中に複雑で見られず、新しい領域に容易に適用できるものを含む、幅広いタスクにおいて強力な推論能力を示す。

関連論文リスト

• Can Large Language Models Understand Symbolic Graphics Programs? [136.5639211254501]
  シンボリックグラフィックスプログラムはコンピュータグラフィックスで人気がある。 シンボルグラフィックプログラムの意味的視覚的理解のためのベンチマークを作成する。 LLMの推理性能は概して優れていた。
  論文  参考訳（メタデータ） (2024-08-15T17:59:57Z)
• GenRL: Multimodal-foundation world models for generalization in embodied agents [12.263162194821787]
  強化学習(RL)は、タスクごとに複雑な報酬設計を必要とするため、スケールアップが難しい。 現在の基盤視覚言語モデル(VLM)は、微調整やその他の適応を具体的文脈で適用する必要がある。 このような領域におけるマルチモーダルデータの欠如は、具体化されたアプリケーションの基盤モデルを開発する上での障害である。
  論文  参考訳（メタデータ） (2024-06-26T03:41:48Z)
• Grounding Language Plans in Demonstrations Through Counterfactual Perturbations [25.19071357445557]
  物理領域におけるLarge Language Models(LLM)の常識的推論は、具体化されたAIにとって重要な問題でありながら未解決である。 提案手法は,2次元ナビゲーションによる模倣学習の解釈性と反応性を向上し,シミュレーションおよび実ロボット操作タスクを実現する。
  論文  参考訳（メタデータ） (2024-03-25T19:04:59Z)
• Phrase Grounding-based Style Transfer for Single-Domain Generalized Object Detection [109.58348694132091]
  単一ドメインの一般化オブジェクト検出は、複数の未確認対象ドメインに対するモデルの一般化性を高めることを目的としている。 これは、ターゲットのドメインデータをトレーニングに組み込むことなく、ドメインシフトに対処するモデルを必要とするため、実用的だが難しいタスクである。 そこで我々は,課題に対する新しい文節接頭辞に基づくスタイル伝達手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T10:48:43Z)
• VLLaVO: Mitigating Visual Gap through LLMs [7.352822795984628]
  クロスドメイン学習は、トレーニングとテストデータのドメインシフトを減らすために、ドメイン不変の知識を抽出することを目的としている。 視覚言語モデルと大規模言語モデルを組み合わせたVLLaVOを提案する。
  論文  参考訳（メタデータ） (2024-01-06T16:33:39Z)
• Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
  マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。 オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。 コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
  論文  参考訳（メタデータ） (2023-06-26T16:32:47Z)
• Programmatically Grounded, Compositionally Generalizable Robotic Manipulation [35.12811184353626]
  意味表現を統合化するための従来の事前学習ファインタニングパイプラインは、ドメイン固有の行動情報の学習に絡み合っていることを示す。 本稿では,言語命令の統語的構造と意味的構造を利用して,事前学習モデルを活用するモジュール方式を提案する。 我々のモデルは、様々な操作行動において、ゼロショットと合成の一般化を改善するために、動作と知覚をうまく切り離すことに成功している。
  論文  参考訳（メタデータ） (2023-04-26T20:56:40Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。