論文の概要: Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints
- arxiv url: http://arxiv.org/abs/2608.13684v1
- Date: Thu, 13 Aug 2026 18:27:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.1863
- Title: Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints
- Title（参考訳）: セマンティック制約下で未知の部品で新しい構造を組み立てることの学習
- Abstract要約: エージェントがデプロイ後、構造に関するセマンティックな制約に遭遇するシナリオに注目します。
この設定は, 自然言語で符号化された記号的証拠から, 密集した視覚的観察から学習し, 模擬玩具トラック組み立て領域で研究する。
- 参考スコア（独自算出の注目度）: 14.822812310776948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes a neurosymbolic architecture for learning to assemble novel structures using evidence from embodied conversations and task demonstrations. We focus on scenarios where an agent encounters, after deployment, semantic constraints on structures--in other words, constraints as to which part types and features make valid structures--that were not available during training, and where it is initially unaware of the relevant structure and component part concepts. The agent must acquire and exploit such knowledge through user interactions while attempting assembly. We study this setting in a simulated toy truck assembly domain, learning from symbolic evidence encoded in natural language and from dense visual observations. Our experiments show that communicating semantic constraints through natural language (e.g., "dump trucks have a dumper") yields more data-efficient online adaptation than relying only on task demonstrations and/or only naming the parts through natural language.
- Abstract（参考訳）: 本稿では,具体的会話とタスクデモの証拠を用いて,新しい構造を学習するためのニューロシンボリックアーキテクチャについて述べる。
エージェントがデプロイ後、構造に関するセマンティックな制約に遭遇するシナリオに焦点を当てる。言い換えれば、トレーニング中に利用できないどの部分タイプや機能が有効な構造を作るかについての制約、そして、最初に関連する構造やコンポーネントのコンセプトに気付かないケースに焦点を合わせます。
エージェントは、アセンブリを試みている間、ユーザインタラクションを通じてそのような知識を取得し、活用する必要があります。
この設定は, 自然言語で符号化された記号的証拠から, 密集した視覚的観察から学習し, 模擬玩具トラック組み立て領域で研究する。
実験の結果,自然言語による意味的制約(ダンプトラックにはダンパーがある)の伝達は,タスクのデモンストレーションや,あるいは自然言語による部品の命名にのみ依存するよりも,よりデータ効率のよいオンライン適応をもたらすことがわかった。
関連論文リスト
- SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition [22.87993245982946]
ゼロショットスケルトンに基づく行動認識は、目に見えるカテゴリから意味記述を通じて知識を伝達することで、目に見えない行動を認識することを目的としている。
既存のほとんどのメソッドは、典型的には、スケルトンの特徴を共有潜在空間内のテキスト埋め込みと整列する。
スケルトンコンテキスト(SkeletonContext)は、言語駆動型文脈意味論で骨格運動表現を豊かにするプロンプトベースのフレームワークである。
論文 参考訳（メタデータ） (2026-03-31T12:46:21Z) - On the Emergence and Test-Time Use of Structural Information in Large Language Models [52.28603345019514]
本研究では,言語モデルが抽象構造を学習し,テスト時に学習した構造情報を利用する方法について検討する。
学習構造情報の出現は複雑な推論タスクと関連があることを実証的に示す。
論文 参考訳（メタデータ） (2026-01-25T15:02:25Z) - Learning Compositional Behaviors from Demonstration and Language [28.352574199884852]
BLADEは、模倣学習とモデルベースの計画を統合することで、長距離ロボット操作のためのフレームワークである。
我々は、新しい初期状態、外部の摂動、新しい目標など、新しい状況に一般化する上で重要な能力を示す。
論文 参考訳（メタデータ） (2025-05-28T05:19:59Z) - Linguistics-aware Masked Image Modeling for Self-supervised Scene Text Recognition [50.86415025650168]
マスク付き画像モデリング(MIM)は、局所的な構造を利用して視覚パターンを再構築する傾向があり、言語知識は限られている。
本稿では,言語情報とMIMの復号過程を別ブランチで関連づける,言語学対応の仮面画像モデリング(LMIM)手法を提案する。
論文 参考訳（メタデータ） (2025-03-24T14:53:35Z) - Punctuation Restoration Improves Structure Understanding Without Supervision [5.925894224649895]
学習目的としての句読点復元が構造関連タスクの性能を向上させることを示す。
その結果,句読点復元は構造理解を向上する効果的な学習目標であることが示唆された。
論文 参考訳（メタデータ） (2024-02-13T11:22:52Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2022-05-21T00:58:22Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳（メタデータ） (2020-10-11T15:13:18Z) - Visually Analyzing Contextualized Embeddings [2.802183323381949]
本稿では,ディープニューラルネットワークに基づく言語モデルによって生成された文脈的埋め込みを視覚的に解析する手法を提案する。
我々のアプローチは自然言語処理のための言語探索から着想を得ており、タスクは言語構造のための言語モデルを探索するために設計されている。
論文 参考訳（メタデータ） (2020-09-05T15:40:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。