論文の概要: Adapting Large Language Models for Character-based Augmentative and Alternative Communication

• arxiv url: http://arxiv.org/abs/2501.10582v1
• Date: Fri, 17 Jan 2025 22:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:42.667825
• Title: Adapting Large Language Models for Character-based Augmentative and Alternative Communication
• Title（参考訳）: 文字に基づく拡張的・代替的コミュニケーションのための大規模言語モデルの適用
• Authors: Dylan Gaines, Keith Vertanen,
• Abstract要約: AAC(Augmentative and Alternative Communication)のユーザは、文字言語モデルを使用するインターフェースを通じて、レター・バイ・レターを書くことができる。 本研究では,そのようなモデルを用いて文字予測を高精度かつ効率的に行う方法について検討する。
• 参考スコア（独自算出の注目度）: 8.072353085704629
• License:
• Abstract: Users of Augmentative and Alternative Communication (AAC) may write letter-by-letter via an interface that uses a character language model. However, most state-of-the-art large pretrained language models predict subword tokens of variable length. We investigate how to practically use such models to make accurate and efficient character predictions. We fine-tune models using a large dataset of sentences we curated in which each sentence is rated according to how useful it might be for spoken or written AAC communication. We find that using an algorithm to produce character predictions from a subword large language model provides more accurate predictions than adding a classification layer or using a byte-level model. We also find that our domain adaptation curriculum is effective at improving model performance on simple, conversational text.
• Abstract（参考訳）: AAC(Augmentative and Alternative Communication)のユーザは、文字言語モデルを使用するインターフェースを通じて、レター・バイ・レターを書くことができる。 しかし、ほとんどの最先端の大規模事前訓練言語モデルは、可変長のサブワードトークンを予測する。 本研究では,そのようなモデルを用いて文字予測を高精度かつ効率的に行う方法について検討する。 各文が音声や書面AAC通信にどの程度有用かに応じて評価された文の大規模なデータセットを用いて、モデルを微調整する。 サブワード大言語モデルから文字予測を生成するアルゴリズムを用いることで,分類層の追加やバイトレベルのモデルの使用よりも,より正確な予測が可能になることがわかった。 また,本研究の領域適応カリキュラムは,単純な会話テキスト上でのモデル性能の向上にも有効であることがわかった。

関連論文リスト

• Vocabulary Expansion of Chat Models with Unlabeled Target Language Data [38.341705137026985]
  チャットモデル(つまり、人間との会話を通じて指示に従うために訓練された言語モデル)は、会話と一般的なタスク解決能力の両方において、ベースモデル(すなわち、ラベルなしデータにのみ訓練された)より優れている。 これらのモデルは一般的に英語中心であり、トレーニングデータから不足している言語や欠落している言語にさらに適応する必要がある。 そこで本研究では,本手法の有効性を明らかにする実験を行い,87%のケースにおいて,適合モデルが性能改善を達成するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-16T12:26:28Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
  本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。 教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-11T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。