論文の概要: Language Models Surface the Unwritten Code of Science and Society
- arxiv url: http://arxiv.org/abs/2505.18942v3
- Date: Mon, 06 Oct 2025 22:09:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 15:38:20.488944
- Title: Language Models Surface the Unwritten Code of Science and Society
- Title（参考訳）: 言語モデルが科学と社会の無書記法を表わす
- Authors: Honglin Bao, Siyang Wu, Jiwoong Choi, Yingrong Mao, James A. Evans,
- Abstract要約: 本稿では,大規模言語モデル(LLM)が人間のバイアスをどのように受け継がれるかを研究する研究コミュニティに呼びかける。
本稿では,科学のケーススタディを通じて,ピアレビューに隠されたルールを明らかにする概念的枠組みを紹介する。
- 参考スコア（独自算出の注目度）: 1.6245906033871593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper calls on the research community not only to investigate how human biases are inherited by large language models (LLMs) but also to explore how these biases in LLMs can be leveraged to make society's "unwritten code" - such as implicit stereotypes and heuristics - visible and accessible for critique. We introduce a conceptual framework through a case study in science: uncovering hidden rules in peer review - the factors that reviewers care about but rarely state explicitly due to normative scientific expectations. The idea of the framework is to push LLMs to speak out their heuristics through generating self-consistent hypotheses - why one paper appeared stronger in reviewer scoring - among paired papers submitted to 45 academic conferences, while iteratively searching deeper hypotheses from remaining pairs where existing hypotheses cannot explain. We observed that LLMs' normative priors about the internal characteristics of good science extracted from their self-talk, e.g., theoretical rigor, were systematically updated toward posteriors that emphasize storytelling about external connections, such as how the work is positioned and connected within and across literatures. Human reviewers tend to explicitly reward aspects that moderately align with LLMs' normative priors (correlation = 0.49) but avoid articulating contextualization and storytelling posteriors in their review comments (correlation = -0.14), despite giving implicit reward to them with positive scores. These patterns are robust across different models and out-of-sample judgments. We discuss the broad applicability of our proposed framework, leveraging LLMs as diagnostic tools to amplify and surface the tacit codes underlying human society, enabling public discussion of revealed values and more precisely targeted responsible AI.
- Abstract（参考訳）: 本稿は,人間のバイアスが大規模言語モデル(LLM)によってどのように受け継がれるかを研究するだけでなく,LLMにおけるこれらのバイアスが,暗黙のステレオタイプやヒューリスティックスといった社会の「無筆のコード」にどのように活用されるかを探るため,研究コミュニティに呼びかける。
我々は、科学のケーススタディを通して概念的枠組みを紹介した: ピアレビューで隠されたルールを明らかにする - レビュー担当者が意識するが、規範的な科学的期待のために明確に述べることは滅多にない。
この枠組みの考え方は、45の学術会議に提出された論文のうち、1つの論文がレビュアースコアでより強く見えるのはなぜかという自己一貫性のある仮説を生成することによって、LLMに自身のヒューリスティックな仮説を語らせることであり、既存の仮説が説明できない残りのペアからより深い仮説を反復的に探すことである。
著者らは,LLMが自己トークから抽出した良科学の内部的特徴,例えば理論的厳密さを,外部とのつながりを重視した後部に向けて体系的に更新した。
人間のレビュアーは、LLMの規範的前提(相関=0.49)と適度に一致しているが、レビューコメント(相関=-0.14)において文脈化やストーリーテリングの遅れを明示することを避ける(相関=-0.14)。
これらのパターンは、異なるモデルとサンプル外判断で堅牢です。
提案フレームワークの広範な適用性について議論し,LLMを診断ツールとして活用し,人間の社会を基盤とする暗黙のコードを拡張し,表面化する。
関連論文リスト
- Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models [57.834711966432685]
哲学者ハリー・フランクフルト(Harry Frankfurt)によって概念化されたブルシット(Bullshit)は、その真理の価値を問わない言明を指す。
本稿では,大言語モデルの真偽に対する無関心を定量化する新しい指標であるブルシット指数を紹介する。
我々は、政治的文脈で一般的な機械いじめを観察し、軽快な言葉が支配的な戦略である。
論文 参考訳（メタデータ） (2025-07-10T07:11:57Z) - Are Language Models Consequentialist or Deontological Moral Reasoners? [69.85385952436044]
我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。
我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
論文 参考訳（メタデータ） (2025-05-27T17:51:18Z) - The Art of Audience Engagement: LLM-Based Thin-Slicing of Scientific Talks [0.0]
簡単な抜粋(薄いスライス)が全体のプレゼンテーション品質を確実に予測できることを示します。
我々は,100以上の実生活科学講演の新たなコーパスを用いて,Large Language Models (LLMs) を用いて,プレゼンテーションの完全な書き起こしを評価する。
以上の結果から,LCMによる評価は人間の評価と密接に一致し,妥当性,信頼性,効率性が証明された。
論文 参考訳（メタデータ） (2025-04-15T00:08:13Z) - Implicit Bias in LLMs: A Survey [2.07180164747172]
本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。
まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。
検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
論文 参考訳（メタデータ） (2025-03-04T16:49:37Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳（メタデータ） (2024-12-02T16:55:03Z) - Internal Consistency and Self-Feedback in Large Language Models: A Survey [19.647988281648253]
我々は、内部整合性の統一的な視点を使用し、欠陥や幻覚を推論するための説明を提供する。
自己フィードバックと呼ばれる内部一貫性をマイニングできる効果的な理論的枠組みを導入する。
論文 参考訳（メタデータ） (2024-07-19T17:59:03Z) - Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。
まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。
次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
論文 参考訳（メタデータ） (2024-06-26T21:17:20Z) - Best Practices for Text Annotation with Large Language Models [11.421942894219901]
LLM(Large Language Models)は、新しいテキストアノテーションの時代を担っている。
本稿では, 信頼性, 再現性, 倫理的利用に関する包括的基準とベストプラクティスを提案する。
論文 参考訳（メタデータ） (2024-02-05T15:43:50Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。