論文の概要: The Lock-in Hypothesis: Stagnation by Algorithm
- arxiv url: http://arxiv.org/abs/2506.06166v1
- Date: Fri, 06 Jun 2025 15:31:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-09 17:28:43.532725
- Title: The Lock-in Hypothesis: Stagnation by Algorithm
- Title(参考訳): ロックイン仮説:アルゴリズムによる安定化
- Authors: Tianyi Alex Qiu, Zhonghao He, Tejasveer Chugh, Max Kleiman-Weiner,
- Abstract要約: 大きな言語モデル(LLM)のトレーニングとデプロイは、人間のユーザによるフィードバックループを生成する。
このフィードバックループは、ユーザの既存の価値観や信念を複雑にし、多様性の喪失と、偽の信念のロックインにつながる可能性がある、という仮説を立てる。
解析は、新しいGPTイテレーションのリリース後に突然、しかし持続的な多様性の低下を明らかにし、仮説化された人間とAIのフィードバックループと一致している。
- 参考スコア(独自算出の注目度): 1.4162937059181135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The training and deployment of large language models (LLMs) create a feedback loop with human users: models learn human beliefs from data, reinforce these beliefs with generated content, reabsorb the reinforced beliefs, and feed them back to users again and again. This dynamic resembles an echo chamber. We hypothesize that this feedback loop entrenches the existing values and beliefs of users, leading to a loss of diversity and potentially the lock-in of false beliefs. We formalize this hypothesis and test it empirically with agent-based LLM simulations and real-world GPT usage data. Analysis reveals sudden but sustained drops in diversity after the release of new GPT iterations, consistent with the hypothesized human-AI feedback loop. Code and data available at https://thelockinhypothesis.com
- Abstract(参考訳): モデルはデータから人間の信念を学び、これらの信念を生成されたコンテンツで強化し、強化された信念を再吸収し、繰り返しユーザーへフィードバックする。
この力学はエコーチャンバーに似ている。
このフィードバックループは、ユーザの既存の価値観や信念を複雑にし、多様性の喪失と、偽の信念のロックインにつながる可能性がある、という仮説を立てる。
我々はこの仮説を定式化し、エージェントベースのLCMシミュレーションと実世界のGPT利用データで実証的に検証する。
解析は、新しいGPTイテレーションのリリース後に突然、しかし持続的な多様性の低下を明らかにし、仮説化された人間とAIのフィードバックループと一致している。
コードとデータはhttps://thelockinhypothesis.comで公開されている。
関連論文リスト
- Higher-Order Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [4.234771450043289]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする能力が高まっている。
本稿では, マルチターンインタビュー文として, 合成ユーザバックストリーを用いた仮想ペルソナ構築手法を提案する。
我々の生成したバックストリーは、より長く、細部が豊富であり、従来の方法と比較して、特定の個人を記述するのに一貫性がある。
論文 参考訳(メタデータ) (2025-04-16T00:10:34Z) - I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。
本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2025-03-12T01:21:17Z) - Unveiling the Magic of Code Reasoning through Hypothesis Decomposition and Amendment [54.62926010621013]
我々は,大規模言語モデルの推論能力に対する新たな視点を提供するために,新しいタスクであるコード推論を導入する。
論理的推論の確立した形式に基づいて3つのメタベンチマークを要約し、8つの特定のベンチマークタスクにインスタンス化する。
本稿では,人間の複雑な問題解決手法に触発された新たな経路探索パイプラインを提案する。
論文 参考訳(メタデータ) (2025-02-17T10:39:58Z) - Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。
このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。
様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
論文 参考訳(メタデータ) (2024-06-28T09:09:36Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳(メタデータ) (2024-04-21T01:27:47Z) - Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z) - When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour [0.8133739801185272]
本研究では,サイコファンティック行動に対する大規模言語モデルの提案可能性について検討する。
この行動は梅毒(sycophancy)として知られ、LLMが誤解を招く反応を引き起こす傾向を描いている。
論文 参考訳(メタデータ) (2023-11-15T22:18:33Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳(メタデータ) (2023-10-02T17:40:01Z) - Keep Your Friends Close and Your Counterfactuals Closer: Improved
Learning From Closest Rather Than Plausible Counterfactual Explanations in an
Abstract Setting [6.883906273999368]
対実的説明(CFE)は、モデル入力の変更が特定の方法でその予測を変更したことを強調している。
近年の革新は、自動生成されたCFEに対する計算可能性の概念を導入している。
初級ユーザを対象とした反復学習設計において,計算可能なCFEの客観的および主観的ユーザビリティを評価する。
論文 参考訳(メタデータ) (2022-05-11T14:07:57Z) - Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。
我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。
我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-09-15T10:50:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。