論文の概要: Algorithmic Tradeoffs, Applied NLP, and the State-of-the-Art Fallacy

• arxiv url: http://arxiv.org/abs/2509.08199v1
• Date: Wed, 10 Sep 2025 00:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.27389
• Title: Algorithmic Tradeoffs, Applied NLP, and the State-of-the-Art Fallacy
• Title（参考訳）: アルゴリズムトレードオフ, 応用NLP, 最先端の誤り
• Authors: AJ Alvero, Ruohong Dong, Klint Kanopka, David Lang,
• Abstract要約: 我々は、計算テキスト分析に焦点をあて、大学入学エッセイの先行研究を再考する。 より新しい手法は、事前の結果を有意義な方法で上回らなかったことが判明した。 分析的選択を理論的・実証的な問題と整合させる方法論的多元論から社会学的探求の恩恵を受けることを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Computational sociology is growing in popularity, yet the analytic tools employed differ widely in power, transparency, and interpretability. In computer science, methods gain popularity after surpassing benchmarks of predictive accuracy, becoming the "state of the art." Computer scientists favor novelty and innovation for different reasons, but prioritizing technical prestige over methodological fit could unintentionally limit the scope of sociological inquiry. To illustrate, we focus on computational text analysis and revisit a prior study of college admissions essays, comparing analyses with both older and newer methods. These methods vary in flexibility and opacity, allowing us to compare performance across distinct methodological regimes. We find that newer techniques did not outperform prior results in meaningful ways. We also find that using the current state of the art, generative AI and large language models, could introduce bias and confounding that is difficult to extricate. We therefore argue that sociological inquiry benefits from methodological pluralism that aligns analytic choices with theoretical and empirical questions. While we frame this sociologically, scholars in other disciplines may confront what we call the "state-of-the-art fallacy", the belief that the tool computer scientists deem to be the best will work across topics, domains, and questions.
• Abstract（参考訳）: 計算社会学は人気が高まっているが、分析ツールはパワー、透明性、解釈可能性に大きく異なる。 コンピュータ科学において、予測精度のベンチマークを越え、「最先端技術」となることで、手法の人気が高まっている。 コンピュータ科学者は、様々な理由で斬新さと革新を好んだが、方法論的適合よりも技術的名声を優先することは、意図せず社会学的調査の範囲を制限する可能性がある。 そこで本研究では,計算テキスト分析に焦点をあて,大学入学エッセイの先行研究を再考し,従来法と新法の比較を行った。 これらの手法は柔軟性と不透明度に違いがあり、異なる方法論の体系間で性能を比較することができる。 より新しい手法は、事前の結果を有意義な方法で上回らなかったことが判明した。 また、現在最先端の、生成可能なAIと大規模言語モデルを使用することで、複雑化が難しいバイアスやコンファウンディングがもたらされることもわかりました。 そこで我々は,分析的選択と理論的,実証的疑問を整合させる方法論的多元論から,社会学的探求が恩恵を受けることを論じる。 我々はこの社会学的な枠組みを定めているが、他の分野の学者は、コンピュータ科学者が最高のツールであるとみなす信念は、トピック、ドメイン、質問にまたがって機能する、という「最先端の誤り」に直面するかもしれない。

関連論文リスト

• Tinkering Against Scaling [15.060264126253212]
  既存の作業にインスパイアされた"チンケリング"アプローチを提案する。 この手法は、普通の研究者にとって管理可能なより小さなモデルやコンポーネントに関わります。 我々は、ティンカーは計算社会科学の創造と知識の方法であり、批判的な研究のための知識の方法であると主張している。
  論文  参考訳（メタデータ） (2025-04-23T09:21:39Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• Ontology Embedding: A Survey of Methods, Applications and Resources [54.3453925775069]
  オンロジはドメインの知識とメタデータを表現するために広く使われている。 直接支援できる論理的推論は、学習、近似、予測において非常に限られています。 1つの簡単な解決策は、統計分析と機械学習を統合することである。
  論文  参考訳（メタデータ） (2024-06-16T14:49:19Z)
• Machine-assisted quantitizing designs: augmenting humanities and social sciences with artificial intelligence [0.0]
  大規模言語モデル(LLM)は、人文科学や社会科学におけるデータ分析をスケールアップする前例のない機会であることが示された。 設計原則を定量化し、変換し、言語学から特徴分析し、人間の専門知識と機械のスケーラビリティを透過的に統合する混合手法を構築します。 このアプローチは、1ダース以上のLDM支援ケーススタディで議論され、9つの多様な言語、複数の規律、タスクをカバーしている。
  論文  参考訳（メタデータ） (2023-09-24T14:21:50Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
  我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。 大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
  論文  参考訳（メタデータ） (2022-12-20T18:46:16Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• On Heuristic Models, Assumptions, and Parameters [0.6445605125467574]
  我々は、不明瞭で不透明な技術的注意事項、選択、および資格者の過小評価されたファミリーが存在すると論じている。 このようなオブジェクトの3つの特定のクラス、モデル、仮定、パラメータを記述します。
  論文  参考訳（メタデータ） (2022-01-19T04:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。