論文の概要: Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

• arxiv url: http://arxiv.org/abs/2509.20237v1
• Date: Wed, 24 Sep 2025 15:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.87886
• Title: Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models
• Title（参考訳）: 微調整言語モデルにおける逆チャネルとフィラー表現の検討
• Authors: Yu Wang, Leyi Lao, Langchu Huang, Gabriel Skantze, Yang Xu, Hendrik Buschmeier,
• Abstract要約: 逆チャネルとフィラーは対話において重要な言語表現であるが、トランスフォーマーベース言語モデル(LM)では不足している。 我々の研究は3つの微調整戦略を用いて言語モデルにおけるそれらの表現を研究する。 まず,バックチャネルとフィラーの学習表現にクラスタリング解析を適用し,微調整モデルからの表現にシルエットスコアが増大していることを発見した。 また、自然言語生成指標を用いて、微調整された言語モデルによって生成された発話が、より人間生成された発話に類似していることを確認する。
• 参考スコア（独自算出の注目度）: 11.06013049764257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backchannels and fillers are important linguistic expressions in dialogue, but are under-represented in modern transformer-based language models (LMs). Our work studies the representation of them in language models using three fine-tuning strategies. The models are trained on three dialogue corpora in English and Japanese, where backchannels and fillers are preserved and annotated, to investigate how fine-tuning can help LMs learn their representations. We first apply clustering analysis to the learnt representation of backchannels and fillers, and have found increased silhouette scores in representations from fine-tuned models, which suggests that fine-tuning enables LMs to distinguish the nuanced semantic variation in different backchannel and filler use. We also use natural language generation (NLG) metrics to confirm that the utterances generated by fine-tuned language models resemble human-produced utterances more closely. Our findings suggest the potentials of transforming general LMs into conversational LMs that are more capable of producing human-like languages adequately.
• Abstract（参考訳）: バックチャネルとフィラーは対話において重要な言語表現であるが、現代のトランスフォーマーベース言語モデル(LM)では表現されていない。 我々の研究は3つの微調整戦略を用いて言語モデルにおけるそれらの表現を研究する。 それらのモデルは英語と日本語の3つの対話コーパスで訓練され、そこではバックチャネルとフィラーが保存され、注釈付けされる。 まず,学習したバックチャネルとフィラーの表現にクラスタリング解析を適用し,微調整モデルからの表現にシルエットスコアが増大していることから,微調整により,異なるバックチャネルとフィラー使用におけるニュアンスドセマンティック変動を識別できる可能性が示唆された。 また、自然言語生成(NLG)メトリクスを用いて、微調整された言語モデルによって生成された発話が、人間の生成した発話とより密に類似していることを確認する。 本研究は,人間のような言語を適切に生成可能な,一般的なLMを対話型LMに変換する可能性を示唆している。

関連論文リスト

• Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics [56.145578792496714]
  大規模言語モデル(LLM)は言語間知識伝達に苦慮している。 我々は,この現象の原因とダイナミクスを,合成多言語データセット上でスクラッチから小さなトランスフォーマーモデルを訓練することによって研究する。
  論文  参考訳（メタデータ） (2025-08-14T18:44:13Z)
• Self-Supervised Models of Speech Infer Universal Articulatory Kinematics [44.27187669492598]
  SSLモデルの基本特性として「調音キネマティクスの推論」を示す。 また、この抽象化は、モデルをトレーニングするために使用されるデータの言語に大きく重なり合っていることも示しています。 簡単なアフィン変換では、アコースティック・トゥ・アコースティック・トゥ・アーティキュレーション・インバージョン(AAI)は、性別、言語、方言でさえ話者間で変換可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-16T19:50:01Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Counteracts: Testing Stereotypical Representation in Pre-trained Language Models [4.211128681972148]
  我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。 我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
  論文  参考訳（メタデータ） (2023-01-11T07:52:59Z)
• Deanthropomorphising NLP: Can a Language Model Be Conscious? [7.41244589428771]
  我々は、そのような大きな言語モデルは、センシティブでもなく、意識的にもなく、特にLaMDAは、その資格を持つ他の類似したモデルよりも進歩していないという立場を取る。 感性の主張は,NLP報告における人為的言語の使用傾向の広範化の一環と考えられる。
  論文  参考訳（メタデータ） (2022-11-21T14:18:25Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
  Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:07:24Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。