論文の概要: Lightweight Decoding Strategies for Increasing Specificity

• arxiv url: http://arxiv.org/abs/2110.11850v1
• Date: Fri, 22 Oct 2021 15:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 16:57:28.125549
• Title: Lightweight Decoding Strategies for Increasing Specificity
• Title（参考訳）: 特殊性向上のための軽量デコーディング戦略
• Authors: Katy Ilonka Gero, Chris Kedzie, Savvas Petridis and Lydia Chilton
• Abstract要約: 単語頻度とポイントワイドの相互情報に基づく2つの教師なし復号方式を提案する。 いずれの戦略も, 感度をわずかに低下させることなく, 出力の特異性を増大させることがわかった。
• 参考スコア（独自算出の注目度）: 5.649009931836113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are known to produce vague and generic outputs. We propose two unsupervised decoding strategies based on either word-frequency or point-wise mutual information to increase the specificity of any model that outputs a probability distribution over its vocabulary at generation time. We test the strategies in a prompt completion task; with human evaluations, we find that both strategies increase the specificity of outputs with only modest decreases in sensibility. We also briefly present a summarization use case, where these strategies can produce more specific summaries.
• Abstract（参考訳）: 言語モデルはあいまいで一般的な出力を生成することが知られている。 本研究では,生成時の確率分布を出力する任意のモデルの特異性を高めるために,単語頻度と点方向の相互情報に基づく教師なし復号戦略を2つ提案する。 我々は,迅速な完了タスクで戦略をテストする。人間による評価では,両戦略とも感性低下のみを伴い,出力の特異性を高めることが判明した。 また、これらの戦略がより具体的な要約を生成できるような要約ユースケースを簡潔に提示する。

関連論文リスト

• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Program-Based Strategy Induction for Reinforcement Learning [5.657991642023959]
  ベイジアンプログラム誘導を用いて、プログラムによって実行された戦略を発見することで、戦略の単純さがそれらの効果と引き換えにできる。 古典的な漸進的な学習では難しい、あるいは予期せぬ戦略を見つけます。例えば、報奨と無報酬トライアルからの非対称学習、適応的な地平線依存ランダム探索、離散状態切替などです。
  論文  参考訳（メタデータ） (2024-02-26T15:40:46Z)
• Robust Generalization Strategies for Morpheme Glossing in an Endangered Language Documentation Context [2.2783452228152923]
  本研究では,形態素ラベリングモデルが不明瞭なジャンルのテキストに対して,その性能を評価することによって一般化する能力について検討する。 すべての実験は、マヤ語のウスパンテコで書かれたテキストを使って行われる。
  論文  参考訳（メタデータ） (2023-11-05T21:45:57Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• On Decoding Strategies for Neural Text Generators [73.48162198041884]
  言語生成タスクと復号化戦略の相互作用について検討する。 生成したテキストの属性の変化をデコード戦略とタスクの両方の関数として測定する。 以上の結果から,これまで観察された結果と意外な結果の両方が明らかとなった。
  論文  参考訳（メタデータ） (2022-03-29T16:25:30Z)
• Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
  我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。 この問題に対処するための構成戦略を提案する。 構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-02-20T02:50:09Z)
• Reducing Confusion in Active Learning for Part-Of-Speech Tagging [100.08742107682264]
  アクティブラーニング(AL)は、データ選択アルゴリズムを使用して、アノテーションコストを最小限に抑えるために有用なトレーニングサンプルを選択する。 本研究では、特定の出力タグのペア間の混乱を最大に低減するインスタンスの選択問題について検討する。 提案するAL戦略は,他のAL戦略よりも有意差で優れている。
  論文  参考訳（メタデータ） (2020-11-02T06:24:58Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。