論文の概要: Calibrate your listeners! Robust communication-based training for pragmatic speakers

• arxiv url: http://arxiv.org/abs/2110.05422v1
• Date: Mon, 11 Oct 2021 17:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 13:32:28.198416
• Title: Calibrate your listeners! Robust communication-based training for pragmatic speakers
• Title（参考訳）: リスナーを校正しなさい。 実践的話者のためのロバスト通信に基づく訓練
• Authors: Rose E. Wang, Julia White, Jesse Mu, Noah D. Goodman
• Abstract要約: 本稿では,ニューラルリスナーの集団を用いた話者訓練の正規化手法を提案する。 言語ドリフトはニューラルリスナーの不確実性校正に起因していることを示す。 参照ゲームにおいて,両話者の目的を評価した結果,キャリブレーションを向上したアンサンブル方式により,話者が実用的な発話を生成できることが確認された。
• 参考スコア（独自算出の注目度）: 30.731870275051957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To be good conversational partners, natural language processing (NLP) systems should be trained to produce contextually useful utterances. Prior work has investigated training NLP systems with communication-based objectives, where a neural listener stands in as a communication partner. However, these systems commonly suffer from semantic drift where the learned language diverges radically from natural language. We propose a method that uses a population of neural listeners to regularize speaker training. We first show that language drift originates from the poor uncertainty calibration of a neural listener, which makes high-certainty predictions on novel sentences. We explore ensemble- and dropout-based populations of listeners and find that the former results in better uncertainty quantification. We evaluate both population-based objectives on reference games, and show that the ensemble method with better calibration enables the speaker to generate pragmatic utterances while scaling to a large vocabulary and generalizing to new games and listeners.
• Abstract（参考訳）: 会話のパートナーとして、自然言語処理(NLP)システムは、文脈的に有用な発話を生成するために訓練されるべきである。 先行研究は、ニューラルリスナーがコミュニケーションパートナーとして立ち上がるコミュニケーションベースの目標を用いて、nlpシステムをトレーニングすることを調査した。 しかし、これらのシステムは通常、学習した言語が自然言語から根本的に逸脱する意味的漂流に苦しむ。 本稿では,ニューラルリスナーの集団を用いた話者訓練の正規化手法を提案する。 まず, 言語ドリフトは, ニューラルリスナーの不確かさのキャリブレーションが低かったことに由来することを示し, 新たな文に対して高い精度の予測を行う。 我々は,アンサンブルとドロップアウトに基づくリスナーの集団を調査し,前者の不確実性が定量化されることを示す。 本研究では,参照ゲームにおける話者の目的を両立させ,キャリブレーションを向上したアンサンブル手法により,大規模な語彙に拡大しながら実用的な発話を生成でき,新たなゲームやリスナーに一般化できることを示す。

関連論文リスト

• Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning [31.196865401472664]
  自然言語の環境に関する生産的な議論を人間による実演なしで行うように、言語モデルを訓練する。 我々はエージェントの目標を利用して、コミュニケーションを誘導する高密度報酬信号として、世界の有用な情報を予測する。 我々は、容疑者の告発や証拠提供など、我々の技術による創発的行動を分析し、強力な議論を可能にすることを発見した。
  論文  参考訳（メタデータ） (2025-02-09T22:44:45Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind [4.052000839878213]
  我々は、より限られた視覚的・言語的経験を持つ、知識のある話者と聞き手の間の視覚的接地型参照ゲームをモデル化する。 我々は,提案する話者に対して,聴取者の視点から予測された発話の有効性をモニタするシミュレーションモジュールを用いて,参照表現を適応する能力を与える。
  論文  参考訳（メタデータ） (2023-05-31T15:17:28Z)
• Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off [3.631024220680066]
  ニューラルエージェント言語学習通信フレームワーク(NeLLCom)を提案する。 我々はエージェントに特定のバイアスをハードコーディングすることなく、新しいフレームワークでトレードオフを複製することに成功しました。
  論文  参考訳（メタデータ） (2023-01-30T17:22:33Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Self-play for Data Efficient Language Acquisition [20.86261546611472]
  学習エージェントにおける言語習得の効率と品質を向上させるために,コミュニケーションの対称性を利用する。 直接監督の代わりにセルフプレイを使用することで、エージェントが役割間で知識を伝達できることが示される。
  論文  参考訳（メタデータ） (2020-10-10T02:09:19Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。