論文の概要: Target Languages (vs. Inductive Biases) for Learning to Act and Plan
- arxiv url: http://arxiv.org/abs/2109.07195v1
- Date: Wed, 15 Sep 2021 10:24:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 22:37:40.526113
- Title: Target Languages (vs. Inductive Biases) for Learning to Act and Plan
- Title（参考訳）: 行動と計画を学ぶための目標言語(対帰納的バイアス)
- Authors: Hector Geffner
- Abstract要約: 私は、ニューラルアーキテクチャのバイアスから表現が現れるのではなく、既知のセマンティクスを持つ特定のターゲット言語で学習される、異なる学習アプローチを明確に表現します。
論文と講演の目的は、これらのアイデアを明確化し、対象言語の設計が不可欠である広い文脈に配置し、それらを行動と計画の学習の文脈で説明することである。
- 参考スコア（独自算出の注目度）: 13.820550902006078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent breakthroughs in AI have shown the remarkable power of deep learning
and deep reinforcement learning. These developments, however, have been tied to
specific tasks, and progress in out-of-distribution generalization has been
limited. While it is assumed that these limitations can be overcome by
incorporating suitable inductive biases, the notion of inductive biases itself
is often left vague and does not provide meaningful guidance. In the paper, I
articulate a different learning approach where representations do not emerge
from biases in a neural architecture but are learned over a given target
language with a known semantics. The basic ideas are implicit in mainstream AI
where representations have been encoded in languages ranging from fragments of
first-order logic to probabilistic structural causal models. The challenge is
to learn from data, the representations that have traditionally been crafted by
hand. Generalization is then a result of the semantics of the language. The
goals of the paper and talk are to make these ideas explicit, to place them in
a broader context where the design of the target language is crucial, and to
illustrate them in the context of learning to act and plan. For this, after a
general discussion, I consider learning representations of actions, general
policies, and general decompositions. In these cases, learning is formulated as
a combinatorial optimization problem but nothing prevents the use deep learning
techniques instead. Indeed, learning representations over languages with a
known semantics provides an account of what is to be learned, while learning
representations with neural nets provides a complementary account of how
representations can be learned. The challenge and the opportunity is to bring
the two together.
- Abstract（参考訳）: 最近のAIのブレークスルーは、深層学習と深層強化学習の驚くべき力を示している。
しかし、これらの発展は特定のタスクに結びついており、分布外一般化の進歩は制限されている。
これらの制限は適切な帰納バイアスを組み込むことで克服できると仮定されるが、帰納バイアス自体の概念は曖昧にされ、意味のあるガイダンスを提供しない。
本稿では、ニューラルネットワークにおけるバイアスから表現が生まれるのではなく、既知のセマンティクスを持つ特定のターゲット言語で学習される、異なる学習アプローチを明確に述べる。
基本概念は、一階述語論理の断片から確率的構造的因果モデルまで幅広い言語で表現が符号化された主流aiにおいて暗黙的である。
課題は、伝統的に手作業で作られた表現であるデータから学ぶことだ。
一般化は言語の意味論の結果である。
論文と講演の目的は、これらのアイデアを明確化し、対象言語の設計が不可欠である広い文脈に配置し、それらを行動と計画の学習の文脈で説明することである。
このために、一般的な議論の後、アクションの学習表現、一般的なポリシー、一般的な分解について検討する。
このような場合、学習は組合せ最適化問題として定式化されるが、深層学習技術の使用を妨げるものは何もない。
実際、既知のセマンティクスを持つ言語上の表現の学習は、何を学習すべきかを説明する一方で、ニューラルネットによる表現の学習は、表現の学習方法の補完的な説明を提供する。
課題と機会は、両者を団結させることです。
関連論文リスト
- Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models [31.006803764376475]
意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。
ここでは、両者が、言語習得のためのより一般的な学習戦略である共同学習に固執していると論じる。
一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
論文 参考訳（メタデータ） (2024-06-17T18:01:06Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳（メタデータ） (2023-05-24T07:33:34Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - LISA: Learning Interpretable Skill Abstractions from Language [85.20587800593293]
言語条件による実演から多種多様な解釈可能なスキルを学習できる階層型模倣学習フレームワークを提案する。
本手法は, 逐次的意思決定問題において, 言語に対するより自然な条件付け方法を示す。
論文 参考訳（メタデータ） (2022-02-28T19:43:24Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z) - Leveraging the Inductive Bias of Large Language Models for Abstract
Textual Reasoning [3.616948583169635]
GPT-3やT5のような大きな自然言語モデルは、様々な一般的なNLPタスクにおいて印象的な能力を示している。
このようなモデルに埋め込まれた知識は、従来のNLPタスクだけでなく、シンボリック推論エンジンを訓練する非伝統的なタスクにも有用な帰納的バイアスをもたらすことを示す。
論文 参考訳（メタデータ） (2021-10-05T21:40:46Z) - Neural Abstructions: Abstractions that Support Construction for Grounded
Language Learning [69.1137074774244]
言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。
本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。
この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
論文 参考訳（メタデータ） (2021-07-20T07:01:15Z) - Understanding and Enhancing the Use of Context for Machine Translation [2.367786892039871]
この論文は、ニューラルモデルにおけるコンテキストの特定の可能性を理解し、それらから恩恵を受ける拡張モデルを設計することに焦点を当てている。
ソース言語からターゲット言語に翻訳するには、神経モデルは与えられたコンテキストにおける構成語の意味を理解する必要があります。
NLP分野を進めるためには、コンテキストの役割と学習モデルに対するデータの影響をより深く検討することが不可欠です。
論文 参考訳（メタデータ） (2021-02-20T20:19:27Z) - Universal linguistic inductive biases via meta-learning [36.43388942327124]
帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。
ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。
この枠組みを音節構造に基づくケーススタディで実証する。
論文 参考訳（メタデータ） (2020-06-29T19:15:10Z) - Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。
SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。
本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
論文 参考訳（メタデータ） (2020-04-28T07:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。