論文の概要: 'Neural howlround' in large language models: a self-reinforcing bias phenomenon, and a dynamic attenuation solution

• arxiv url: http://arxiv.org/abs/2504.07992v1
• Date: Mon, 07 Apr 2025 18:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:39.889857
• Title: 'Neural howlround' in large language models: a self-reinforcing bias phenomenon, and a dynamic attenuation solution
• Title（参考訳）: 大規模言語モデルにおける「ニューラルハウルラウンド」-自己強化バイアス現象と動的減衰解
• Authors: Seth Drake,
• Abstract要約: 大規模言語モデル(LLM)駆動型AIシステムは、ニューラルハウルラウンドと呼ばれる推論失敗モードを示す可能性がある。 本稿では,動的に反バランス調整を導入し,適応的推論を復元できる減衰に基づく補正機構を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language model (LLM)-driven AI systems may exhibit an inference failure mode we term `neural howlround,' a self-reinforcing cognitive loop where certain highly weighted inputs become dominant, leading to entrenched response patterns resistant to correction. This paper explores the mechanisms underlying this phenomenon, which is distinct from model collapse and biased salience weighting. We propose an attenuation-based correction mechanism that dynamically introduces counterbalancing adjustments and can restore adaptive reasoning, even in `locked-in' AI systems. Additionally, we discuss some other related effects arising from improperly managed reinforcement. Finally, we outline potential applications of this mitigation strategy for improving AI robustness in real-world decision-making tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)駆動型AIシステムは、ある種の高度に重み付けされた入力が支配的な自己強化認知ループである「ニューラルハウルラウンド(neural howlround)」と呼ばれる推論失敗モードを示す可能性がある。 本稿では, モデル崩壊と偏りのある塩分重み付けとは異なる, この現象のメカニズムを考察する。 我々は,動的に反バランス調整を導入し,適応推論を「ロックイン」なAIシステムでも復元できる減衰に基づく補正機構を提案する。 さらに,不適切に管理された強化による他の影響についても検討する。 最後に、実世界の意思決定タスクにおいて、AIの堅牢性を改善するためのこの緩和戦略の潜在的な応用について概説する。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Generative Intervention Models for Causal Perturbation Modeling [80.72074987374141]
  多くの応用において、システムのメカニズムが外部の摂動によって変更されるかは未定である。 本稿では、これらの摂動特徴を原子間干渉による分布にマッピングする方法を学習する生成的介入モデル(GIM)を提案する。
  論文  参考訳（メタデータ） (2024-11-21T10:37:57Z)
• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• Impact of conditional modelling for a universal autoregressive quantum state [0.0]
  ニューラルネットワークにおける畳み込み層の類似体としてフィルタを導入し、任意の量子状態に翻訳的対称性付き相関を組み込む。 得られた帰納バイアスが変動柔軟性,対称性,保存量に与える影響を解析した。
  論文  参考訳（メタデータ） (2023-06-09T14:17:32Z)
• Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics [26.94367957377311]
  ディープ・平衡(DEQ)モデルは、従来のディープ・ネットワークの多重層積み重ねを単一層変換の固定点反復で置き換える。 既存の作業は、広く使われている対戦訓練(AT)フレームワークで一般的なDECモデルの堅牢性を改善するが、DECモデルの構造的特異性を利用するには至らなかった。 ニューラルダイナミクスに沿って入力を段階的に更新することで予測エントロピーを低減することを提案する。 我々の手法はDECモデルのロバスト性を大幅に向上させ、強力なディープネットワークベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-06-02T10:49:35Z)
• Dynamics with autoregressive neural quantum states: application to critical quench dynamics [41.94295877935867]
  本稿では、量子系の長時間のダイナミクスを安定的に捉えるための代替の汎用スキームを提案する。 二次元量子イジングモデルにおけるキブル・ズレーク機構の解明により,時間依存性のクエンチ力学にこのスキームを適用した。
  論文  参考訳（メタデータ） (2022-09-07T15:50:00Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。