論文の概要: A dataset of rated conceptual arguments

• arxiv url: http://arxiv.org/abs/2607.27499v1
• Date: Wed, 29 Jul 2026 22:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.330095
• Title: A dataset of rated conceptual arguments
• Title（参考訳）: 評価された概念論のデータセット
• Abstract要約: 本研究では,大言語モデルの概念的疑問を推論する能力について検討する。 哲学的な問題の多くは、AIの安全性、意思決定理論、社会的選択における問題の中心的な要素である。 位置テキスト442の議論的批判を991のデータセットで紹介する。
• 参考スコア（独自算出の注目度）: 49.54098427599201
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models have improved rapidly on tasks with verifiable answers, such as mathematics and programming. Much less is known about their ability to reason about what we call conceptual questions: questions for which no ground truth is realistically accessible and no widely accepted resolution methodology exists, but on which progress can still be made by debating arguments. Most philosophical questions are of this kind, as are central components of questions in AI safety, decision theory, and social choice. Our approach is based on the view that while bottom-line conclusions on such questions are hard to evaluate, individual contextualized arguments can be evaluated far more reliably. We therefore introduce a dataset of 951 argumentative critiques of 442 position texts, spanning topics from AI safety and decision theory to ethics and politics, with 1,458 ratings by six expert raters along dimensions including centrality, strength, correctness, and clarity. We propose two scoring functions and benchmark a range of models. Performance tracks general capability rankings.
• Abstract（参考訳）: 大規模言語モデルは、数学やプログラミングのような検証可能な答えを持つタスクにおいて、急速に改善されている。 根底的な真実が現実的にアクセス可能で、広く受け入れられている解決方法が存在しないという質問は、我々が概念的問題と呼ぶものについて推論する能力については、ほとんど知られていないが、議論を議論することで、どの進歩が達成できるのかは、まだ分かっていない。 ほとんどの哲学的な質問はこの種のものであり、AIの安全性、決定論、社会的選択における質問の中心的な要素である。 提案手法は,このような質問に対するボトムラインの結論は評価が難しいが,個別の文脈的議論をより確実に評価できるという考え方に基づいている。 そこで我々は、AIの安全性と意思決定理論から倫理と政治まで、中央性、強さ、正当性、明確性を含む6人の専門家による1,458のレーティングを含む、442のテキストの議論的批判のデータセットを、951件導入した。 2つのスコアリング関数を提案し、様々なモデルをベンチマークする。 パフォーマンストラック 一般的な能力ランキング。

関連論文リスト

• Multimodal QUD: Inquisitive Questions from Scientific Figures [63.41049609329304]
  我々は、科学的論文に携わるときに人間が生み出す疑問の深さに達する質問を生成する。 我々は、QUDの言語理論をテキストのみからマルチモーダルに拡張する。 MQUD上でのVLMの微調整により、一般的な低レベルの視覚的質問からコンテンツ固有のグラウンドへとモデルをシフトすることを示す。
  論文  参考訳（メタデータ） (2026-04-26T14:25:23Z)
• Argumentative Human-AI Decision-Making: Toward AI Agents That Reason With Us, Not For Us [25.806044355311553]
  我々は,これらの分野の収束が新たなパラダイムの基盤となることを論じる。 我々は、議論フレームワークのマイニング、議論フレームワークの合成、議論的推論の相乗効果が、決定を正当化するだけでなく、決定に異議を唱え、修正可能な弁証的プロセスに関わるエージェントをどのように可能にしているかを分析する。
  論文  参考訳（メタデータ） (2026-03-16T21:51:36Z)
• MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes [31.1183238867944]
  MoReBench: 1,000のモラルシナリオを紹介します。それぞれが、シナリオを推論するとき、専門家が必須とみなす基準のセットと組み合わせています。 MoReBenchには、道徳的考慮事項の特定、トレードオフの重み付け、行動可能なレコメンデーションなど、23万以上の基準が含まれている。 第二に、MoReBench-Theory: 150の例を使って、AIが規範的倫理の5つの主要なフレームワークで推論できるかどうかを検証します。
  論文  参考訳（メタデータ） (2025-10-18T07:34:31Z)
• Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
  人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。 GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-09T03:53:26Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Argument Quality Assessment in the Age of Instruction-Following Large Language Models [45.832808321166844]
  そのような応用において重要なタスクは、議論の質を評価することである。 我々は,質概念の多様性と認識の主観性を,議論品質評価における実質的な進歩への主要なハードルとみなす。 インストラクション追従型大規模言語モデル(LLM)がコンテキストを越えた知識を活用できることは,より信頼性の高い評価を可能にしている,と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-24T10:43:21Z)
• ACQUIRED: A Dataset for Answering Counterfactual Questions In Real-Life Videos [53.92440577914417]
  ACQUIREDは3.9Kの注釈付きビデオで構成され、幅広いイベントタイプを包含し、ファーストパーソンとサードパーソンの両方の視点を取り入れている。 各ビデオは、物理的、社会的、時間的な3つの異なる推論の次元にまたがる質問で注釈付けされている。 我々は,現在最先端の言語のみおよびマルチモーダルモデルに対して,我々のデータセットをベンチマークし,実験結果から大きな性能差が示された。
  論文  参考訳（メタデータ） (2023-11-02T22:17:03Z)
• Divide and Conquer: Answering Questions with Object Factorization and Compositional Reasoning [30.392986232906107]
  本稿では,基本的対象分解法とニューラルモジュールネットワークからなる統合フレームワークを提案する。 本手法は, 対象物の特徴に基づいて分解し, 幅広い対象物を表すプロトタイプを自動的に導出する。 これらのプロトタイプにより、提案するネットワークは、共通意味空間上でオブジェクトの類似性を測定することによって、オブジェクトを関連付ける。 トレーニング中の可利用性に関わらず、多様なオブジェクトで質問に答えることができ、偏りのある質問応答分布の問題を克服することができる。
  論文  参考訳（メタデータ） (2023-03-18T19:37:28Z)
• Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training [65.10741459705739]
  本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。 まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T14:23:29Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。