論文の概要: Do Large GPT Models Discover Moral Dimensions in Language
Representations? A Topological Study Of Sentence Embeddings
- arxiv url: http://arxiv.org/abs/2309.09397v1
- Date: Sun, 17 Sep 2023 23:38:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 15:41:38.189500
- Title: Do Large GPT Models Discover Moral Dimensions in Language
Representations? A Topological Study Of Sentence Embeddings
- Title（参考訳）: 大きなgptモデルは言語表現において道徳的次元を発見するか?
文の埋め込みに関するトポロジ的研究
- Authors: Stephen Fitz
- Abstract要約: 本稿では,Chat-GPTの基礎言語モデル「脳」における神経活動のトポロジ的構造を考察し,公平性の概念を表す指標として分析する。
まず、社会文学にインスパイアされた公正度尺度を計算し、正当性、必要性、責任など、人間の公正度評価に典型的な影響を及ぼす要因を特定する。
その結果, GPT-3.5に基づく文の埋め込みは, 公平かつ不公平な道徳判断に対応する2つのサブ多様体に分解できることがわかった。
- 参考スコア（独自算出の注目度）: 0.7416846035207727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models are deployed within Artificial Intelligence systems,
that are increasingly integrated with human society, it becomes more important
than ever to study their internal structures. Higher level abilities of LLMs
such as GPT-3.5 emerge in large part due to informative language
representations they induce from raw text data during pre-training on trillions
of words. These embeddings exist in vector spaces of several thousand
dimensions, and their processing involves mapping between multiple vector
spaces, with total number of parameters on the order of trillions. Furthermore,
these language representations are induced by gradient optimization, resulting
in a black box system that is hard to interpret. In this paper, we take a look
at the topological structure of neuronal activity in the "brain" of Chat-GPT's
foundation language model, and analyze it with respect to a metric representing
the notion of fairness. We develop a novel approach to visualize GPT's moral
dimensions. We first compute a fairness metric, inspired by social psychology
literature, to identify factors that typically influence fairness assessments
in humans, such as legitimacy, need, and responsibility. Subsequently, we
summarize the manifold's shape using a lower-dimensional simplicial complex,
whose topology is derived from this metric. We color it with a heat map
associated with this fairness metric, producing human-readable visualizations
of the high-dimensional sentence manifold. Our results show that sentence
embeddings based on GPT-3.5 can be decomposed into two submanifolds
corresponding to fair and unfair moral judgments. This indicates that GPT-based
language models develop a moral dimension within their representation spaces
and induce an understanding of fairness during their training process.
- Abstract（参考訳）: 大規模言語モデルが人工知能システムに展開され、人間の社会とますます統合されるにつれて、内部構造を研究することがこれまで以上に重要になる。
GPT-3.5のようなLCMの高レベルの能力は、数兆の単語の事前学習中に生のテキストデータから誘導される情報的言語表現により、多くが出現する。
これらの埋め込みは数千次元のベクトル空間に存在し、その処理は数兆の順序でパラメータの総数を持つ複数のベクトル空間間の写像を含む。
さらに、これらの言語表現は勾配最適化によって誘導され、解釈が難しいブラックボックスシステムとなる。
本稿では,Chat-GPTの基礎言語モデル「脳」における神経活動のトポロジ的構造を考察し,公平性の概念を表す指標として分析する。
我々はGPTの道徳的次元を可視化するための新しいアプローチを開発する。
まず、社会心理学の文献に触発された公平度指標を計算し、人間の公正度評価(正当性、ニーズ、責任など)に影響を与える要因を特定する。
その後、多様体の形状を、この計量から位相が導かれる低次元単純複体を用いて要約する。
このフェアネスメトリックと関連づけたヒートマップで色付けし,高次元文多様体の可読可視化を行う。
その結果, GPT-3.5に基づく文の埋め込みは, 公平かつ不公平な道徳判断に対応する2つのサブ多様体に分解できることがわかった。
このことは,GPTに基づく言語モデルが表現空間内で道徳的次元を発達させ,学習過程における公平さの理解を促すことを示唆している。
関連論文リスト
- Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。
以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
論文 参考訳（メタデータ） (2024-06-27T19:26:11Z) - Hidden Holes: topological aspects of language models [1.1172147007388977]
我々は,GPTに基づく大規模言語モデルにおけるトポロジ的構造の発達について,訓練中の深度と時間にわたって検討した。
後者は、すべての自然言語に共通する変化パターンを持つが、合成されたデータがない、よりトポロジ的な複雑さを示すことを示す。
論文 参考訳（メタデータ） (2024-06-09T14:25:09Z) - Heaps' Law in GPT-Neo Large Language Model Emulated Corpora [2.7234916145234713]
ヘプスの法則(ヘプスのほう、英: Heaps' law)は、コーパスサイズの関数として語彙の成長を予測するテキスト分析における経験的関係である。
本研究では,GPT-Neo大言語モデルを用いたコーパスのエミュレーションに焦点を当てた。
論文 参考訳（メタデータ） (2023-11-10T20:07:32Z) - Cabbage Sweeter than Cake? Analysing the Potential of Large Language
Models for Learning Conceptual Spaces [18.312837741635207]
概念空間を学習するための大規模言語モデルの可能性を探る。
実験の結果,LLMは意味のある表現の学習に利用できることがわかった。
また、BERTファミリーの微調整モデルでは、最大のGPT-3モデルにマッチしたり、性能を上回ります。
論文 参考訳（メタデータ） (2023-10-09T07:41:19Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Natural Language Decompositions of Implicit Content Enable Better Text
Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。
我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。
本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文 参考訳（メタデータ） (2023-05-23T23:45:20Z) - DiMBERT: Learning Vision-Language Grounded Representations with
Disentangled Multimodal-Attention [101.99313208598569]
視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。
視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。
DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
論文 参考訳（メタデータ） (2022-10-28T23:00:40Z) - Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。
我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
論文 参考訳（メタデータ） (2022-09-14T19:53:32Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳（メタデータ） (2021-10-17T18:25:23Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳（メタデータ） (2020-09-10T03:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。