論文の概要: COMMUNITY-CROSS-INSTRUCT: Unsupervised Instruction Generation for Aligning Large Language Models to Online Communities

• arxiv url: http://arxiv.org/abs/2406.12074v3
• Date: Tue, 22 Oct 2024 06:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 18:22:36.007261
• Title: COMMUNITY-CROSS-INSTRUCT: Unsupervised Instruction Generation for Aligning Large Language Models to Online Communities
• Title（参考訳）: コミュニティ・クロス・インストラクト:大規模言語モデルをオンラインコミュニティにアライメントするための教師なしインストラクション生成
• Authors: Zihao He, Minh Duc Chu, Rebecca Dorn, Siyi Guo, Kristina Lerman,
• Abstract要約: コミュニティ・クロス・インストラクション(Community-Cross-Instruct)は,大規模言語モデルをオンラインコミュニティに整合させ,信念を導き出す,教師なしのフレームワークである。 Reddit上で政治・食生活のコミュニティを正確に表現する手法の有用性を実証する。
• 参考スコア（独自算出の注目度）: 5.0261645603931475
• License:
• Abstract: Social scientists use surveys to probe the opinions and beliefs of populations, but these methods are slow, costly, and prone to biases. Recent advances in large language models (LLMs) enable the creating of computational representations or "digital twins" of populations that generate human-like responses mimicking the population's language, styles, and attitudes. We introduce Community-Cross-Instruct, an unsupervised framework for aligning LLMs to online communities to elicit their beliefs. Given a corpus of a community's online discussions, Community-Cross-Instruct automatically generates instruction-output pairs by an advanced LLM to (1) finetune a foundational LLM to faithfully represent that community, and (2) evaluate the alignment of the finetuned model to the community. We demonstrate the method's utility in accurately representing political and diet communities on Reddit. Unlike prior methods requiring human-authored instructions, Community-Cross-Instruct generates instructions in a fully unsupervised manner, enhancing scalability and generalization across domains. This work enables cost-effective and automated surveying of diverse online communities.
• Abstract（参考訳）: 社会科学者は、人口の意見や信念を調査するために調査を行っているが、これらの手法は遅く、費用がかかり、偏見がちである。 大規模言語モデル(LLM)の最近の進歩は、人口の言語、スタイル、態度を模倣する人間のような反応を生成する集団の計算表現や「デジタル双子」の作成を可能にする。 コミュニティ・クロス・インストラクション(Community-Cross-Instruct)は、LLMをオンラインコミュニティに調整し、彼らの信念を導き出すための、教師なしのフレームワークである。 コミュニティ・クロス・インストラクトは,コミュニティのオンライン議論のコーパスを前提として,(1)コミュニティを忠実に表現するための基礎的LLMを微調整し,(2)コミュニティへの微調整モデルの整合性を評価するため,先進的なLCMによるインストラクション・アウトプット・ペアの自動生成を行う。 Reddit上で政治・食生活のコミュニティを正確に表現する手法の有用性を実証する。 従来の方法とは異なり、Community-Cross-Instructは、完全に教師なしの方法で命令を生成し、拡張性とドメイン間の一般化を促進する。 この作業により、様々なオンラインコミュニティの費用対効果と自動調査が可能になる。

関連論文リスト

• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Improving and Assessing the Fidelity of Large Language Models Alignment to Online Communities [5.392300313326522]
  大規模言語モデル(LLM)は個人やコミュニティの表現において有望であることを示している。 本稿では,LLMとオンラインコミュニティの連携を行うためのフレームワークを提案する。 ダイエットと体像を中心としたオンラインコミュニティに適用することで,我々のアプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2024-08-18T05:41:36Z)
• Modular Pluralism: Pluralistic Alignment via Multi-LLM Collaboration [84.47037877922293]
  大規模言語モデル(LLM)は、文化、人口統計、地域社会の様々な好みをモデル化するのに苦労する。 我々は多元的アライメントのためのマルチLLM協調に基づくモジュラーフレームワークであるモジュラー・プラナリズムを提案する。 我々は,6つのタスクと4つのデータセットによるモジュール型多元性の評価を行った。
  論文  参考訳（メタデータ） (2024-06-22T22:07:40Z)
• Collective Constitutional AI: Aligning a Language Model with Public Input [20.95333081841239]
  言語モデル(LM)開発者は、LMの振る舞いの唯一の決定者であってはならないというコンセンサスが高まっている。 我々は、公共のインプットをLMにソーシングし、統合するための多段階プロセスであるCCAI(Collective Constitutional AI)を提示する。 我々は、この手法の現実的な実践性を、我々の知識に則って、公開入力を集約した最初のLM微調整を作成することによって実証する。
  論文  参考訳（メタデータ） (2024-06-12T02:20:46Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Can AI Moderate Online Communities? [0.0]
  オープンアクセス生成事前学習型トランスフォーマーモデル(GPT)をOpenAIから利用して,大規模言語モデル(LLM)を訓練する。 予備的な知見は、適切に訓練された場合、LLMはアクターの意図を識別し、有害なコメントをモデレートし、肯定的な貢献を得られることを示唆している。 我々は、コンテンツオンラインモデレーションにおける生成AIの適用と、分散化された匿名コミュニティにおける文化の管理に関する、迅速な開発フレームワークを用いて、情報システム(IS)の談話に貢献する。
  論文  参考訳（メタデータ） (2023-06-08T11:45:44Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)
• Enhance Ambiguous Community Structure via Multi-strategy Community Related Link Prediction Method with Evolutionary Process [7.239725647907488]
  我々は新しいコミュニティ属性に基づくリンク予測戦略HAPを設計する。 本稿では,あいまいなコミュニティ構造を明らかにするためのリンクを追加することで,コミュニティの強化を図ることを目的とする。 提案手法は,提案手法が他のベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T06:24:16Z)
• This Must Be the Place: Predicting Engagement of Online Communities in a Large-scale Distributed Campaign [70.69387048368849]
  我々は、何百万人ものアクティブメンバーを持つコミュニティの行動について研究する。 テキストキュー,コミュニティメタデータ,構造的特性を組み合わせたハイブリッドモデルを構築した。 Redditのr/placeを通じて、大規模なオンライン実験を通じて、私たちのモデルの適用性を実証します。
  論文  参考訳（メタデータ） (2022-01-14T08:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。