論文の概要: Large Human Language Models: A Need and the Challenges
- arxiv url: http://arxiv.org/abs/2312.07751v1
- Date: Thu, 9 Nov 2023 00:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 14:37:09.907516
- Title: Large Human Language Models: A Need and the Challenges
- Title（参考訳）: 大規模ヒューマン言語モデルの必要性と課題
- Authors: Nikita Soni, H. Andrew Schwartz, Jo\~ao Sedoc, Niranjan
Balasubramanian
- Abstract要約: 大規模人文言語モデル(LHLM)の創出に向けた3つの立場を提唱する。
第一に、LMトレーニングには人間の文脈を含めるべきである。第二に、LHLMは、人々が自分のグループ以上であることを認識すべきである。
第3に、LHLMは人間の文脈の動的かつ時間的に依存する性質を説明できるべきである。
- 参考スコア（独自算出の注目度）: 19.990044814443134
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As research in human-centered NLP advances, there is a growing recognition of
the importance of incorporating human and social factors into NLP models. At
the same time, our NLP systems have become heavily reliant on LLMs, most of
which do not model authors. To build NLP systems that can truly understand
human language, we must better integrate human contexts into LLMs. This brings
to the fore a range of design considerations and challenges in terms of what
human aspects to capture, how to represent them, and what modeling strategies
to pursue. To address these, we advocate for three positions toward creating
large human language models (LHLMs) using concepts from psychological and
behavioral sciences: First, LM training should include the human context.
Second, LHLMs should recognize that people are more than their group(s). Third,
LHLMs should be able to account for the dynamic and temporally-dependent nature
of the human context. We refer to relevant advances and present open challenges
that need to be addressed and their possible solutions in realizing these
goals.
- Abstract（参考訳）: 人間中心NLPの研究が進むにつれ、人間と社会的要因をNLPモデルに組み込むことの重要性がますます認識されている。
同時に、我々のNLPシステムは LLM に大きく依存するようになり、そのほとんどは著者をモデル化していない。
人間の言語を真に理解できるNLPシステムを構築するためには、人間のコンテキストをLLMに統合する必要がある。
これは、人間的側面を捉えるべきもの、それらを表現する方法、そして、追求すべきモデリング戦略という観点で、様々な設計上の考慮と課題をもたらす。
これらの問題に対処するため、我々は、心理学と行動科学の概念を用いて、大規模な人間言語モデル(lhlms)を作成するための3つの立場を提唱する。
第2に、LHLMは人々がグループ以上のものであることを認識すべきである。
第3に、LHLMは人間の文脈の動的かつ時間的に依存する性質を説明できるべきである。
我々は、関連する進歩と、対処すべきオープンな課題と、これらの目標を実現するためのソリューションについて言及する。
関連論文リスト
- A Survey on Human-Centric LLMs [11.49752599240738]
大型言語モデル(LLM)は人間の認知と行動をシミュレートすることができる。
この調査は個々のタスクと集合タスクの両方のパフォーマンスに焦点を当てている。
論文 参考訳（メタデータ） (2024-11-20T12:34:44Z) - Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives? [0.0]
大規模言語モデル(LLM)の文脈におけるRL(Reinforcement from Human Feedback)における多元主義の倫理的優位性について論じる。
社会と多元主義の哲学に基づいて、RHLFをより人間のニーズに反応させる方法と、その過程での課題にどう対処できるかを提案する。
論文 参考訳（メタデータ） (2024-07-02T08:07:27Z) - A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。
本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
論文 参考訳（メタデータ） (2024-06-17T03:52:51Z) - Easy Problems That LLMs Get Wrong [0.0]
大規模言語モデル(LLM)の限界を評価するために設計された包括的な言語ベンチマークを導入する。
一連の簡単な質問を通じて、人間が簡単に管理するタスクを実行するための、よく考えられたモデルの重大な制限を明らかにする。
論文 参考訳（メタデータ） (2024-05-30T02:09:51Z) - Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳（メタデータ） (2024-04-19T09:44:51Z) - High-Dimension Human Value Representation in Large Language Models [60.33033114185092]
大規模言語モデル(LLM)における人的価値分布の高次元表現であるUniVaRを提案する。
我々は,UniVaRが,異なるLLMに埋め込まれた人間の値と異なる言語源との分布を比較する強力なツールであることを示す。
論文 参考訳（メタデータ） (2024-04-11T16:39:00Z) - Should We Fear Large Language Models? A Structural Analysis of the Human
Reasoning System for Elucidating LLM Capabilities and Risks Through the Lens
of Heidegger's Philosophy [0.0]
本研究では,Large Language Models(LLM)の能力とリスクについて検討する。
LLM内の単語関係の統計的パターンと、Martin Heidegger氏の概念である"ready-to-hand"と"present-at-hand"の間には、革新的な並列性がある。
以上の結果から, LLMには直接的説明推論と擬似論理推論の能力があるが, 真理的推論に乏しく, 創造的推論能力がないことが明らかとなった。
論文 参考訳（メタデータ） (2024-03-05T19:40:53Z) - The Quo Vadis of the Relationship between Language and Large Language
Models [3.10770247120758]
LLM(Large Language Models)は、LLMを言語科学モデルとして採用することを奨励している。
透明性に欠ける科学的モデルの導入によって引き起こされる最も重要な理論的および経験的リスクを特定します。
現在の開発段階において、LLMは言語に関する説明をほとんど提供していないと結論付けている。
論文 参考訳（メタデータ） (2023-10-17T10:54:24Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳（メタデータ） (2023-07-24T17:44:58Z) - Principle-Driven Self-Alignment of Language Models from Scratch with
Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。
この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。
本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-04T17:59:28Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳（メタデータ） (2023-03-31T17:28:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。