論文の概要: Commonsense Knowledge from Scene Graphs for Textual Environments

• arxiv url: http://arxiv.org/abs/2210.14162v1
• Date: Wed, 19 Oct 2022 03:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 11:43:09.281503
• Title: Commonsense Knowledge from Scene Graphs for Textual Environments
• Title（参考訳）: テキスト環境のためのシーングラフからの常識知識
• Authors: Tsunehiko Tanaka, Daiki Kimura, Michiaki Tatsubori
• Abstract要約: シーングラフデータセットなどの視覚的データセットから得られたコモンセンス推論を利用する利点について検討する。 提案手法は既存の最先端手法よりも高い性能と競争性を有する。
• 参考スコア（独自算出の注目度）: 6.617487928813374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-based games are becoming commonly used in reinforcement learning as real-world simulation environments. They are usually imperfect information games, and their interactions are only in the textual modality. To challenge these games, it is effective to complement the missing information by providing knowledge outside the game, such as human common sense. However, such knowledge has only been available from textual information in previous works. In this paper, we investigate the advantage of employing commonsense reasoning obtained from visual datasets such as scene graph datasets. In general, images convey more comprehensive information compared with text for humans. This property enables to extract commonsense relationship knowledge more useful for acting effectively in a game. We compare the statistics of spatial relationships available in Visual Genome (a scene graph dataset) and ConceptNet (a text-based knowledge) to analyze the effectiveness of introducing scene graph datasets. We also conducted experiments on a text-based game task that requires commonsense reasoning. Our experimental results demonstrated that our proposed methods have higher and competitive performance than existing state-of-the-art methods.
• Abstract（参考訳）: テキストベースのゲームは、現実世界のシミュレーション環境として強化学習で一般的に使われている。 それらは通常不完全な情報ゲームであり、それらの相互作用はテキストのモダリティに限られる。 これらのゲームに挑戦するために、人間の常識のような知識を提供することで、不足している情報を補完することが効果的である。 しかし、そのような知識は以前の作品のテキスト情報からしか得られていない。 本稿では,シーングラフデータセットなどの視覚データセットから得られる共通意味推論を用いることの利点について検討する。 一般に、画像は人間のテキストと比較してより包括的な情報を伝える。 これにより、ゲームにおいて効果的に振る舞うのに役立つコモンセンス関係知識を抽出することができる。 本研究では,視覚ゲノム(シーングラフデータセット)と概念ネット(テキストベース知識)で利用可能な空間関係の統計を比較し,シーングラフデータセットの導入の有効性を分析する。 また,コモンセンス推論を必要とするテキストベースのゲームタスクについても実験を行った。 実験の結果,提案手法は既存の最先端手法よりも高い性能と競争性を示した。

関連論文リスト

• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Comprehensive Event Representations using Event Knowledge Graphs and Natural Language Processing [0.0]
  この研究は、自然言語処理(NLP)の分野からの発見を利用して、テキストから知識を抽出し、知識グラフを構築する、成長する仕事の体系を利用して構築することを目的としている。 具体的には、サブイベント抽出は、サブイベント認識イベント表現を作成する方法として使用される。 これらの事象表現は、きめ細かい位置抽出を通じて豊かにされ、歴史的に関連する引用のアライメントによって文脈化される。
  論文  参考訳（メタデータ） (2023-03-08T18:43:39Z)
• Story Shaping: Teaching Agents Human-like Behavior with Stories [9.649246837532417]
  本稿では、強化学習エージェントが、タスクの達成方法に関する模範的なストーリーから暗黙の知識を推測するストーリーシェイピングを紹介する。 エージェントの推論された世界状態グラフと推定されたストーリー世界グラフとの類似性に基づいて本質的な報酬を生成する。 テキストベースのゲームにおいて,エージェントの動作を仮想ゲームキャラクタとして記述し,常識推論を必要とする実験を行った。
  論文  参考訳（メタデータ） (2023-01-24T16:19:09Z)
• Leveraging Visual Knowledge in Language Tasks: An Empirical Study on Intermediate Pre-training for Cross-modal Knowledge Transfer [61.34424171458634]
  視覚的知識を言語モデルに組み込むことがギャップを埋めるかどうかを検討する。 実験の結果,視覚的知識伝達は低リソース環境と完全教師付き環境の両方で性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-03-14T22:02:40Z)
• One-shot Scene Graph Generation [130.57405850346836]
  ワンショットシーングラフ生成タスクに対して,複数の構造化知識(関係知識知識)を提案する。 提案手法は既存の最先端手法よりも大きなマージンで優れる。
  論文  参考訳（メタデータ） (2022-02-22T11:32:59Z)
• Seeing the advantage: visually grounding word embeddings to better capture human semantic knowledge [8.208534667678792]
  分布意味モデルは、多くの自然言語処理タスクで有用な単語レベルの意味をキャプチャする。 我々は、英語のテキストと画像を組み合わせて視覚的に接地した単語埋め込みを作成し、それらを人気のあるテキストベース手法と比較する。 我々の分析では、視覚的に接地された埋め込み類似性は、純粋にテキストベースの埋め込みよりも人間の反応時間を予測することが示されている。
  論文  参考訳（メタデータ） (2022-02-21T15:13:48Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)
• Learning Dynamic Belief Graphs to Generalize on Text-Based Games [55.59741414135887]
  テキストベースのゲームをプレイするには、自然言語処理とシーケンシャルな意思決定のスキルが必要である。 本研究では,原文からエンドツーエンドに学習したグラフ構造化表現を用いて,エージェントがテキストベースのゲームでどのように計画・一般化できるかを検討する。
  論文  参考訳（メタデータ） (2020-02-21T04:38:37Z)
• Exploration Based Language Learning for Text-Based Games [72.30525050367216]
  本研究は,テキストベースのコンピュータゲームにおいて,最先端の性能を発揮できる探索・模倣学習型エージェントを提案する。 テキストベースのコンピュータゲームは、自然言語でプレイヤーの世界を記述し、プレイヤーがテキストを使ってゲームと対話することを期待する。 これらのゲームは、言語理解、問題解決、および人工エージェントによる言語生成のためのテストベッドと見なすことができるため、興味がある。
  論文  参考訳（メタデータ） (2020-01-24T03:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。