論文の概要: Language-Based Causal Representation Learning

• arxiv url: http://arxiv.org/abs/2207.05259v1
• Date: Tue, 12 Jul 2022 02:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 01:58:50.740920
• Title: Language-Based Causal Representation Learning
• Title（参考訳）: 言語に基づく因果表現学習
• Authors: Blai Bonet and Hector Geffner
• Abstract要約: 本研究では,ドメインに依存しない1次因果関係言語を用いて動的に学習することを示す。 データと互換性のある言語で最もコンパクトな表現を好むことは、強く意味のある学習バイアスをもたらす。 古典的AI」は手作りの表現を必要とするが、同じ言語上の非構造化データから類似の表現を学ぶことができる。
• 参考スコア（独自算出の注目度）: 24.008923963650226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consider the finite state graph that results from a simple, discrete, dynamical system in which an agent moves in a rectangular grid picking up and dropping packages. Can the state variables of the problem, namely, the agent location and the package locations, be recovered from the structure of the state graph alone without having access to information about the objects, the structure of the states, or any background knowledge? We show that this is possible provided that the dynamics is learned over a suitable domain-independent first-order causal language that makes room for objects and relations that are not assumed to be known. The preference for the most compact representation in the language that is compatible with the data provides a strong and meaningful learning bias that makes this possible. The language of structured causal models (SCMs) is the standard language for representing (static) causal models but in dynamic worlds populated by objects, first-order causal languages such as those used in "classical AI planning" are required. While "classical AI" requires handcrafted representations, similar representations can be learned from unstructured data over the same languages. Indeed, it is the languages and the preference for compact representations in those languages that provide structure to the world, uncovering objects, relations, and causes.
• Abstract（参考訳）: エージェントがパッケージをピックアップしてドロップする長方形グリッドに移動する、単純で離散的な動的システムから生じる有限状態グラフを考えてみましょう。 問題の状態変数、すなわちエージェントの場所とパッケージの場所は、オブジェクトや状態の構造、あるいはバックグラウンド知識に関する情報にアクセスすることなく、状態グラフの構造からのみ回収できるだろうか? これは、ダイナミクスが、未知と仮定されるオブジェクトと関係を囲む適切なドメインに依存しない一階の因果言語から学べるならば可能であることを示す。 データと互換性のある言語でもっともコンパクトな表現を好むことは、これを可能にする強力で有意義な学習バイアスをもたらす。 構造化因果モデル(scms)の言語は(静的な)因果モデルを表現するための標準言語であるが、オブジェクトが人口する動的世界では、"古典的なai計画"で使われるような一階の因果言語が必要である。 古典的AI」は手作りの表現を必要とするが、同じ言語上の非構造化データから同様の表現を学ぶことができる。 実際、世界の構造を提供し、対象、関係、原因を明らかにする言語とそれらの言語のコンパクト表現の好みである。

関連論文リスト

• Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback [14.938401898546553]
  本稿では,大規模言語モデルの推論ステップを表現するために,半構造化形式を提案する。 具体的には、人間だけでなく、マシンフレンドリで、自然言語よりも容易に検証できる関係を使います。
  論文  参考訳（メタデータ） (2024-06-25T18:21:00Z)
• Enhancing Language Representation with Constructional Information for Natural Language Understanding [5.945710973349298]
  構成文法(CxG)を導入し,形式と意味のペアリングを強調した。 使用法に基づく構築文法を作業の基盤として採用する。 HyCxGフレームワークは3段階のソリューションを通じて言語表現を強化するために提案されている。
  論文  参考訳（メタデータ） (2023-06-05T12:15:12Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Knowledge Graph Guided Semantic Evaluation of Language Models For User Trust [7.063958622970576]
  本研究では、明示的な知識グラフ構造を利用して、自己注意変換器の符号化意味性を評価する。 言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。
  論文  参考訳（メタデータ） (2023-05-08T18:53:14Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Linguistic Inspired Graph Analysis [0.0]
  等型化により、人間の認知は、ある領域から別の領域への潜在的に解決不可能な問題を転写することができる。 現在のアプローチは、ソースからターゲット構造への構造情報の書き起こしのみに焦点を当てている。 同型が意味的および実用的情報をキャプチャできるようにするために、グラフのエンリッチメントの方法を理解するために、さらなる作業が必要であることが判明した。
  論文  参考訳（メタデータ） (2021-05-13T12:16:30Z)
• Graph-Structured Referring Expression Reasoning in The Wild [105.95488002374158]
  接地参照表現は、自然言語表現によって参照されるオブジェクトのイメージ中を特定することを目的としている。 本研究では,シーングラフとシーングラフの推論を行うために,シーングラフガイドモジュールネットワーク(SGMN)を提案する。 また,構造化参照式推論のための大規模実世界のデータセットRef-Reasoningを提案する。
  論文  参考訳（メタデータ） (2020-04-19T11:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。