Fugu-MT 論文翻訳(概要): An Empirical Study on Context Length for Open-Domain Dialog Generation

論文の概要: An Empirical Study on Context Length for Open-Domain Dialog Generation

arxiv url: http://arxiv.org/abs/2409.00315v1
Date: Sat, 31 Aug 2024 00:56:36 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 15:37:00.773158
Title: An Empirical Study on Context Length for Open-Domain Dialog Generation
Title（参考訳）: オープンドメインダイアログ生成のための文脈長に関する実証的研究
Authors: Xinyi Shen, Zuoquan Lin,
Abstract要約: 近年,トランスフォーマーベースのオープンドメインダイアログモデルが普及している。文脈で適切な発話数を維持するための基準はない。文脈長の選択がモデルにどのように影響するかを明らかにする。
参考スコア（独自算出の注目度）: 2.172833950033613
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer-based open-domain dialog models have become increasingly popular in recent years. These models typically represent context as a concatenation of a dialog history. However, there is no criterion to decide how many utterances should be kept adequate in a context. We try to figure out how the choice of context length affects the model. We experiment on three questions from coarse to fine: (i) Does longer context help model training? (ii) Is it necessary to change the training context length when dealing with dialogs of different context lengths? (iii) Do different dialog samples have the same preference for context length? Our experimental results show that context length, an often overlooked setting, deserves attention when implementing Transformer-based dialog models.
Abstract（参考訳）: 近年,トランスフォーマーベースのオープンドメインダイアログモデルが普及している。これらのモデルは通常、コンテキストをダイアログ履歴の連結として表現する。しかし、その文脈で適切な発話数を維持するための基準は存在しない。文脈長の選択がモデルにどのように影響するかを明らかにする。粗末から罰金までの3つの質問を実験する。 i) より長いコンテキストはモデルのトレーニングに役立つか? (ii)異なる文脈長のダイアログを扱う場合、トレーニングコンテキスト長を変更する必要があるか? (iii)異なるダイアログサンプルはコンテキスト長と同じ好みを持つか? 実験の結果,コンテクスト長はよく見過ごされるが,Transformerベースのダイアログモデルを実装する際には注目に値することがわかった。

関連論文リスト

What's Mine becomes Yours: Defining, Annotating and Detecting Context-Dependent Paraphrases in News Interview Dialogs [2.820441023554258]
我々は,NPR と CNN のニュースインタビューから,文脈依存のパラフレーズに注釈を付けた発話ペアを用いたデータセットを提案する。 In-context Learningとトークン分類モデルを用いた対話における自動パラフレーズ検出の有望な結果を示す。
論文参考訳（メタデータ） (2024-04-10T01:14:12Z)
Mind the Gap Between Conversations for Improved Long-Term Dialogue Generation [21.109006148673846]
GapChatは、セッション間の時間が異なるマルチセッション対話データセットである。データセットはリアルタイムに構築されているが、話者の生活における出来事の進行をシミュレートして、長い時間間隔で発生する現実的な対話を生成する。時間認識モデルは、選択したトピックと会話から得られる情報との関係を判断する指標において、より良いパフォーマンスを示す。
論文参考訳（メタデータ） (2023-10-24T00:12:38Z)
Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文参考訳（メタデータ） (2023-09-18T11:03:55Z)
Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for Long-Turn Open-Domain Dialogue Pre-training [90.3412708846419]
既存の事前学習コーパスのほとんどの対話は、3回未満の対話を含む。数十億ドル規模のロングターン対話を自動的に構築するRetrieve, Reorganize, Rescale framework (Re$3$Dial)を提案する。上記のプロセスを繰り返すことで、Re$3$Dialはコヒーレントなロングターン対話をもたらすことができる。
論文参考訳（メタデータ） (2023-05-04T07:28:23Z)
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文参考訳（メタデータ） (2023-02-12T15:05:10Z)
Prompting for a conversation: How to control a dialog model? [9.268682116424518]
ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。本稿では,上記のトレードオフを緩和できるかどうかを検討する。
論文参考訳（メタデータ） (2022-09-22T14:59:55Z)
Modeling Text-visual Mutual Dependency for Multi-modal Dialog Generation [35.45552689723718]
実世界におけるマルチモーダルダイアログ生成の特定の事例を解決するためのフレームワークを提案する。具体的には,テキスト・視覚的特徴間の相互依存をモデル化することを提案する。テキストと視覚的特徴間の相互依存がモデル化されている場合、バニラモデルよりも顕著なパフォーマンス向上が観察される。
論文参考訳（メタデータ） (2021-05-30T07:20:28Z)
Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文参考訳（メタデータ） (2020-12-14T10:58:01Z)
Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
語彙のエンドツーエンド分類に代わる方法を提案する。潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
論文参考訳（メタデータ） (2020-10-04T19:06:16Z)
Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
論文参考訳（メタデータ） (2020-10-04T08:00:19Z)
Modality-Balanced Models for Visual Dialogue [102.35406085738325]
Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
論文参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。