論文の概要: Learning to Refer from Estimated Listener Gaze

• arxiv url: http://arxiv.org/abs/2609.14207v1
• Date: Sun, 13 Sep 2026 00:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.761673
• Title: Learning to Refer from Estimated Listener Gaze
• Title（参考訳）: 推定聴取者の視線から参照する学習
• Abstract要約: 本稿では,視線スキャンパスの形でインクリメンタルリスナー理解の観察を学習信号に変換することにより,より現実的な参照表現を生成するための視覚言語モデルを提案する。 視線を推定するリスナーで訓練された話者ポリシーは,基本モデルよりも現実的に最適参照が大幅に増加し,シーケンス長が15.4から4.0に減少し,参照成功率が75.2から80.0%に増加した。
• 参考スコア（独自算出の注目度）: 12.172774856748347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose to finetune vision-language models to generate more pragmatically optimal referring expressions by transforming observations of incremental listener comprehension, in the form of gaze scanpaths, into learning signals. During training, referring expressions are sampled from the speaker policy being optimized, conditioned on images and target referents; then, a neural listener estimating human gaze behavior maps from images and sampled referring expressions to scanpaths, each represented by a sequence of fixations, with each fixation corresponding to a word in the referring expression. We experiment with several approaches to convert fixation sequences and target referents into token- and sequence-level rewards, which are used to optimize policy parameters. Through evaluation with human listeners, we find that speaker policies trained with gaze-estimating listeners result in significantly more pragmatically-optimal references than base models, reducing sequence length from 15.4 down to 4.0 words while increasing referential success from 75.2 up to 80.0%. Our work demonstrates a promising opportunity for learning to generate utterances through language-based interaction, not only from the explicit signal of communicative success, but also from implicitly-available observations of a listener's process of comprehension.
• Abstract（参考訳）: 本稿では,視線スキャンパスの形でインクリメンタルリスナー理解の観察を学習信号に変換することにより,より現実的な参照表現を生成するための視覚言語モデルを提案する。 トレーニング中、話者ポリシーから参照表現をサンプリングし、画像及び対象参照に条件付けし、画像から人間の視線行動マップを推定し、スキャンパスにサンプリングした参照表現を、参照表現中の単語に対応する各固定配列で表現する。 我々は、固定シーケンスとターゲット参照をトークンレベルとシーケンスレベルの報酬に変換し、ポリシーパラメータの最適化に使用するいくつかのアプローチを実験的に実験した。 人間の聴取者による評価により、視線推定リスナーで訓練された話者ポリシーは、ベースモデルよりも現実的に最適な参照をはるかに多くし、シーケンス長が15.4から4.0に減少し、参照成功率が75.2から80.0%に増加した。 本研究は,コミュニケーションの成功の明確なシグナルだけでなく,聴取者の理解過程の暗黙的な観察からも,言語に基づく対話を通して発話を生成するための有望な機会を示す。

関連論文リスト

• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• Entropy-based Coarse and Compressed Semantic Speech Representation Learning [72.18542411704347]
  圧縮された意味表現を学習するためのエントロピーに基づく動的集約フレームワークを提案する。 ASR、音声からテキストへの変換、音声変換タスクの実験は、圧縮された表現が密度の高いトークンシーケンスと同等以上のパフォーマンスを示すことを示した。
  論文  参考訳（メタデータ） (2025-08-30T13:50:58Z)
• Grounding Language in Multi-Perspective Referential Communication [16.421832484760987]
  マルチエージェント環境における表現生成と理解のためのタスクとデータセットを提案する。 我々は2,970人の人間が書いた参照表現のデータセットを収集し、それぞれが人間の理解的判断と組み合わせる。 自動モデルの性能を人間のパートナーとペアリングした話者とリスナーとして評価し,人間のエージェントのペアよりも遅れた参照生成と理解の遅延の両方におけるモデル性能を確認した。
  論文  参考訳（メタデータ） (2024-10-04T22:42:30Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• Leveraging WaveNet for Dynamic Listening Head Modeling from Speech [11.016004057765185]
  対面会話中のリスナーからの対話的コミュニケーションフィードバックをシミュレートすることを目的としたリスナー顔応答の作成。 提案手法は,聴取者のフィードバックの微妙なニュアンスを捉え,個々の聴取者のアイデンティティを確実に保持することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-08T13:19:22Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• Speech Sequence Embeddings using Nearest Neighbors Contrastive Learning [15.729812221628382]
  教師なしのコントラスト学習目標を用いてトレーニング可能な,シンプルなニューラルエンコーダアーキテクチャを提案する。 近年の自己教師型音声表現の上に構築されている場合,本手法は反復的に適用でき,競争力のあるSSEが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:28:01Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。