論文の概要: From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

• arxiv url: http://arxiv.org/abs/2407.06071v1
• Date: Mon, 8 Jul 2024 16:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 15:01:12.989401
• Title: From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty
• Title（参考訳）: ループからOopsへ:不確実性下での言語モデルのフォールバック挙動
• Authors: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva,
• Abstract要約: 大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
• 参考スコア（独自算出の注目度）: 67.81977289444677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.
• Abstract（参考訳）: 大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 本稿では,モデルが不確実性を示すフォールバックとして,これらの挙動を考察し,それらの関連性を検討することを提案する。 転倒行動(シーケンス反復、退行テキスト、幻覚)を分類し、事前学習トークンの量、パラメータ数、命令フォロートレーニングの含みによって異なる同じ家系のモデルでそれらを広範囲に分析する。 我々の実験では、これらの軸にまたがるフォールバックの振舞いの明瞭で一貫した順序が示され、LSMはより高度な(より多くのトークンで訓練されたり、より多くのパラメータで訓練されたり、命令で調整された)ほど、そのフォールバックの振舞いはシークエンス反復から退行し、テキストを退行し、幻覚へと変化する。 さらに、最も優れたモデルであっても、同じ順序付けが1世代にわたって観測され、不確実性が増大するにつれて、モデルが幻覚から退化したテキストを生成し、シークエンスを繰り返していく。 最後に、ランダムサンプリングのような一般的な復号法は、シーケンス反復のような望ましくない動作を緩和するが、それらはより難しい幻覚を増大させる。

関連論文リスト

• Hallucination Detection for Grounded Instruction Generation [8.432152982202785]
  現在のモデルの大きな問題は幻覚である。 画像とテキストのペアの大きなコーパスに事前学習されたモデルを採用することにより,これらの幻覚を検出するモデルを開発する。
  論文  参考訳（メタデータ） (2023-10-23T19:36:28Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models [9.95909045828344]
  より効果的にするためには、幻覚過程は個々の文字や幹よりも音節のような長さに注意を払う必要がある。 トレーニングデータとテストデータが補題に重複しない場合に、従来のデータ幻覚法よりも幻覚モデルで有意なパフォーマンス改善を報告します。
  論文  参考訳（メタデータ） (2021-04-13T19:51:21Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。