論文の概要: The Argument and the Letterhead: Source-Position Coherence in AI Evaluation
- arxiv url: http://arxiv.org/abs/2609.35286v1
- Date: Mon, 28 Sep 2026 14:34:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:54:25.334791
- Title: The Argument and the Letterhead: Source-Position Coherence in AI Evaluation
- Title（参考訳）: 議論とレターヘッド:AI評価におけるソース・ポジション・コヒーレンス
- Abstract要約: 予備登録された2つの研究と、後のJevのサプリメントは、米国のAI政策、ドイツの債務ブレーキ、スイスの核エネルギーに関する6つの固定されたテキストについて、2,976個の有用な評価を収集した。
本論文は, 制御された比較によってこの推論を開発し, 付録中の条件付きポストホックp値を報告し, 人間の判断とAIによる研究の背後にある委譲チェックを文書化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: An argument can be surprising coming from a particular speaker without being a bad argument. Do AI evaluators keep these judgments apart? Two preregistered descriptive studies and a later Jev supplement collected 2,976 usable evaluations of six fixed texts about US AI policy, Germany's debt brake and Swiss nuclear energy. Each text was presented under several source attributions. The key comparison asks whether the gap between two sources changes when the argument changes. On Sol, for example, a national-security argument received mean ratings of 0.359 under CODEPINK and 0.639 under College Republicans; a civil-rights argument received 0.742 and 0.721. A constant preference for one source cannot explain that pattern. Related interactions appeared across topics and recent model configurations, including those with reasoning enabled, while several comparisons yielded small effects. The later European Jev supplement yielded five interactions below the adopted absolute reference of 0.05; its distinct rubric and interrupted collection limit comparison with the chat systems. Some written evaluations explicitly invoked a mismatch between a source and its attributed position. Taken together, the numerical and verbal evidence supports source-position coherence as a plausible explanation, alongside competing accounts involving credibility, authenticity and interpretation of the task. The paper develops this inference through controlled comparisons, reports conditional post hoc p-values in an appendix, and documents the human decisions and delegated checks behind an AI-conducted study.
- Abstract（参考訳）: 議論は、悪い議論をすることなく、特定の話者から生まれる驚くべきものです。
AI評価者はこれらの判断を区別するだろうか?
事前登録された2つの記述研究と、後のJevの補足により、米国のAI政策、ドイツの債務ブレーキ、スイスの核エネルギーに関する6つの固定されたテキストに関する2,976個の有用な評価が集められた。
それぞれのテキストは、いくつかの情報源の属性の下で提示された。
鍵となる比較は、議論が変わったときに2つのソース間のギャップが変わるかどうかを問うものである。
例えばソルでは、CODEPINKでは0.359、カレッジ共和党では0.639、市民権論では0.742と0.721と評価された。
1つのソースに対する一定の選好は、そのパターンを説明することができない。
関連する相互作用は、推論が可能となったものを含む最近のモデル構成やトピックにまたがって現れ、いくつかの比較では小さな効果が得られた。
後のヨーロッパのJevサプリメントは0.05の絶対基準以下で5つの相互作用を得た。
いくつかの文献による評価は、ソースとその属性位置のミスマッチを明示的に呼び起こした。
数値的および言語的証拠は、そのタスクの信頼性、信頼性、解釈を含む競合する説明とともに、情報源のコヒーレンスを妥当な説明として支持する。
本論文は, 制御された比較によってこの推論を開発し, 付録中の条件付きポストホックp値を報告し, 人間の判断とAIによる研究の背後にある委譲チェックを文書化する。
関連論文リスト
- Beyond Natural Language: An Agent-Native Language for Autonomous Science [14.491976347720174]
研究クレームに対するサポートのチェックと修正を行うための,マシンチェック可能な言語とプロトコルであるLaraを紹介した。
Laraは、研究エージェントのための自動検証パイプラインを可能にし、宣言されたブリッジが論文間の議論を監査可能なネットワークに接続し、人間と機械の両方が、符号化されたクレームの状態をミリ秒で再チェックできるようにする。
論文 参考訳（メタデータ） (2026-09-21T21:19:46Z) - Measuring AI Accountability Through Argumentation Analysis: Can Model Reasoning Withstand Scrutiny? [0.0]
現実的な曖昧さにもかかわらず機能するように設計された代替規格について検討する。
我々は、ウォルトンの議論スキームの理論とGovierの議論の緊急性に関する基準に基づく4相弁証法を用いる。
推論の異なるフレームに適応し、多重選択フレーミングを越えて拡張し、評定に先立つ推論とポストホックの正当化の両方を扱う。
論文 参考訳（メタデータ） (2026-09-04T12:40:39Z) - A dataset of rated conceptual arguments [49.54098427599201]
本研究では,大言語モデルの概念的疑問を推論する能力について検討する。
哲学的な問題の多くは、AIの安全性、意思決定理論、社会的選択における問題の中心的な要素である。
位置テキスト442の議論的批判を991のデータセットで紹介する。
論文 参考訳（メタデータ） (2026-07-29T22:30:59Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳（メタデータ） (2026-07-28T18:07:04Z) - Discourse-Aware Policy Analysis with Argumentation: A Hybrid LLM-Symbolic Framework for Disaster Governance [4.125187280299246]
Apafは、批判的談話分析をポリシーテキスト上の定量的双極的議論フレームワークとして運用するハイブリッドLLMシンボリックパイプラインである。
我々は,米国,英国,カナダ,オーストラリアから,災害リスク低減政策に関する100のサブドキュメントのデータセットを新たにリリースした。
論文 参考訳（メタデータ） (2026-07-14T20:47:38Z) - ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence [48.938290419832335]
我々は、モデル応答が、その基盤となる文書における矛盾する証拠をどのように認識するかを定量化する新しいメトリクスであるConflictScoreを紹介する。
我々のフレームワークは, 反応を原子的クレームに分解し, それぞれのクレームに対して各クレームをラベル付けし, それらのラベルを2つの補完的尺度に集約する。
論文 参考訳（メタデータ） (2026-06-24T23:00:09Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - Is the Top Still Spinning? Evaluating Subjectivity in Narrative Understanding [40.78154629252038]
曖昧なクレームにバイナリラベルを強制すると、評価の信頼性が低下する。
請求項のニュアンス評価を提供する方法として,LCM生成した要約の編集を紹介する。
我々は,ARMが主張の忠実性に関するアノテータ合意において,絶対的な21%の改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-04-01T19:08:24Z) - Contextualizing Argument Quality Assessment with Relevant Knowledge [11.367297319588411]
SPARKは、関連する知識による文脈化に基づく議論品質を評価するための新しい手法である。
我々は、大きな言語モデルを利用してフィードバックを提供したり、隠れた仮定を推測したり、同様の品質の議論を提供したり、あるいは反論をしたりする4つの拡張を考案する。
論文 参考訳（メタデータ） (2023-05-20T21:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。