論文の概要: Bias Amplification in Language Model Evolution: An Iterated Learning Perspective
- arxiv url: http://arxiv.org/abs/2404.04286v2
- Date: Thu, 03 Oct 2024 05:27:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 17:53:27.350078
- Title: Bias Amplification in Language Model Evolution: An Iterated Learning Perspective
- Title(参考訳): 言語モデル進化におけるバイアス増幅--反復学習の視点から
- Authors: Yi Ren, Shangmin Guo, Linlu Qiu, Bailin Wang, Danica J. Sutherland,
- Abstract要約: 我々は,Large Language Models (LLMs) の行動と人間の文化の進化の類似性を描いている。
我々のアプローチは、人間の文化進化においてどのように微妙なバイアスが拡大されるかを解明するベイズ的枠組みである反復学習(IL)を活用することである。
本稿では,ベイジアン・イルフレームワークにおけるエージェントの行動の特徴を概説する。
- 参考スコア(独自算出の注目度): 27.63295869974611
- License:
- Abstract: With the widespread adoption of Large Language Models (LLMs), the prevalence of iterative interactions among these models is anticipated to increase. Notably, recent advancements in multi-round self-improving methods allow LLMs to generate new examples for training subsequent models. At the same time, multi-agent LLM systems, involving automated interactions among agents, are also increasing in prominence. Thus, in both short and long terms, LLMs may actively engage in an evolutionary process. We draw parallels between the behavior of LLMs and the evolution of human culture, as the latter has been extensively studied by cognitive scientists for decades. Our approach involves leveraging Iterated Learning (IL), a Bayesian framework that elucidates how subtle biases are magnified during human cultural evolution, to explain some behaviors of LLMs. This paper outlines key characteristics of agents' behavior in the Bayesian-IL framework, including predictions that are supported by experimental verification with various LLMs. This theoretical framework could help to more effectively predict and guide the evolution of LLMs in desired directions.
- Abstract(参考訳): LLM(Large Language Models)の普及に伴い,これらのモデル間の反復的相互作用の頻度が増加することが期待されている。
特に、近年の多ラウンド自己改善手法の進歩により、LLMはその後のモデルをトレーニングするための新しい例を生成することができる。
同時に,エージェント間の自動インタラクションを含むマルチエージェントLLMシステムも注目されている。
したがって、LLMは短期的にも長期的にも、進化過程に積極的に関与する可能性がある。
我々は、LLMの行動と人間の文化の進化の類似性を引き合いに出し、後者は認知科学者によって数十年にわたって広く研究されてきた。
我々のアプローチは、人間の文化進化においてどのように微妙なバイアスが拡大されるかを解明するベイズ的枠組みである反復学習(IL)を活用して、LLMのいくつかの振る舞いを説明することである。
本稿では,各種LLMを用いた実験的検証によって支持される予測を含む,ベイジアン・ILフレームワークにおけるエージェントの挙動の重要な特徴を概説する。
この理論的枠組みは、所望の方向にLSMの進化をより効果的に予測し、導くのに役立つ。
関連論文リスト
- Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳(メタデータ) (2024-06-20T13:08:09Z) - A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳(メタデータ) (2024-04-22T17:43:23Z) - Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。
ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。
LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文 参考訳(メタデータ) (2024-02-29T14:06:34Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Do LLM Agents Exhibit Social Behavior? [6.018288992619851]
本研究では,Large Language Models (LLMs) がいかに社会的相互作用の原理を示すかを検討する。
分析の結果, LLMエージェントは, 多様な社会的行動を示すことが示唆された。
LLMは明らかに公正な好みを示し、正の相反性は弱く、社会学習において人間に比べてより計算的なアプローチを示す。
論文 参考訳(メタデータ) (2023-12-23T08:46:53Z) - In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。
このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。
本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
論文 参考訳(メタデータ) (2023-10-09T15:31:03Z) - SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文 参考訳(メタデータ) (2023-10-01T00:52:24Z) - Potential Benefits of Employing Large Language Models in Research in
Moral Education and Development [0.0]
近年,計算機科学者は大規模言語コーパスと人間強化を用いた予測モデルを訓練することで,大規模言語モデル(LLM)を開発した。
LLMが道徳教育・開発研究にどのように貢献するかについて検討する。
論文 参考訳(メタデータ) (2023-06-23T22:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。