論文の概要: The Counterexample Game: Iterated Conceptual Analysis and Repair in Language Models
- arxiv url: http://arxiv.org/abs/2605.03936v1
- Date: Tue, 05 May 2026 16:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:44.03152
- Title: The Counterexample Game: Iterated Conceptual Analysis and Repair in Language Models
- Title（参考訳）: 対訳ゲーム:言語モデルにおける概念分析と修復の反復
- Abstract要約: 言語モデルが反復解析と修復連鎖によって哲学的解析を行うことができるかどうかを考察する。
多くのLM生成反例は、専門家の人間とLMの裁判官の両方によって無効と判断されるが、LM審査員は人間の約2倍の人数を受け入れている。
- 参考スコア（独自算出の注目度）: 11.31435294855236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conceptual analysis -- proposing definitions and refining them through counterexamples -- is central to philosophical methodology. We study whether language models can perform this task through iterated analysis and repair chains: one model instance generates counterexamples to a proposed definition, another repairs the definition, and the process repeats. Across 20 concepts and thousands of counterexample-repair cycles, we find that, although many LM-generated counterexamples are judged invalid by both expert humans and an LM judge, the LM judge accepts roughly twice as many as humans do. Nonetheless, per-item validity judgments are moderately consistent across humans and between humans and the LM. We further find that extended iteration produces increasingly verbose definitions without improving accuracy. We also see that some concepts resist stable definitions in general. These findings suggest that while LMs can engage in philosophical reasoning, the counterexample-repair loop hits diminishing returns quickly and could be a fruitful test case for evaluating whether LMs can sustain high-level iterated philosophical reasoning.
- Abstract（参考訳）: 概念分析 (conceptual analysis) -- 定義を提案し、反例を通してそれらを精錬する -- は、哲学的方法論の中心である。
1つのモデルインスタンスが提案した定義に対する反例を生成し、もう1つのモデルインスタンスが定義を修復し、プロセスが繰り返す。
20のコンセプトと数千の反例・反例サイクルにおいて、多くのLM生成の反例は、専門家の人間とLMの裁判官の両方によって無効と判断されるが、LM審査員は人間の約2倍の数の反例を受け入れている。
それでも、各項目の妥当性判断は、人間とLMの間では適度に一致している。
さらに、拡張イテレーションは、精度を向上することなく、ますます冗長な定義を生み出すことが分かっています。
また、いくつかの概念は一般に安定な定義に抵抗する。
これらの結果から, LMは哲学的推論を行うことができるが, 反例・反例ループは急速に減少し, LMが高レベルの反復的哲学的推論を維持できるかどうかを評価する上で有益である可能性が示唆された。
関連論文リスト
- Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies [51.39569894108518]
大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。
本稿では,LLMのロバスト性を評価するためのベンチマークであるLoFa(Logical Fallacy)を紹介する。
また、誤攻撃に対する抵抗を定量化する指標であるk(LFR@k)の論理的誤り抵抗についても提案する。
論文 参考訳（メタデータ） (2026-06-30T02:17:45Z) - Learning from Equivalence Queries, Revisited [62.46207559138802]
本研究は,全情報と帯域幅の両方のフィードバックに基づいて等価クエリから学習する。
本分析では,対称逆数に対するゲーム理論的視点と適応重み付け法とミニマックス引数を組み合わせる。
論文 参考訳（メタデータ） (2026-04-06T08:55:41Z) - Measuring Reasoning in LLMs: a New Dialectical Angle [0.0]
本稿では,言語モデルの推論を弁証学で評価する構造化フレームワークSIEVを提案する。
従来の評価とは異なり、SIEVはモデルが到達した結論だけでなく、どのように到達するかを評価する。
例えば、最近のモデルであるGPT-5-chatは、GSM上のSIEVで評価すると40ポイント以上(100点中)を失う。
論文 参考訳（メタデータ） (2025-10-20T22:08:59Z) - Can Language Models Falsify? Evaluating Algorithmic Reasoning with Counterexample Creation [36.52945429410624]
偽装仮説は、主張が時間とともに反復的に洗練されることを許すため、科学的進歩の鍵となる。
言語モデルに関する現在のベンチマークは、主に、それらに挑戦するのではなく、ソリューションを生成する能力を評価している。
我々は、この逆の能力を評価するベンチマークの開発を提唱する。
論文 参考訳（メタデータ） (2025-02-26T18:58:13Z) - "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of
Abstract Meaning Representation [60.863629647985526]
文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。
モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。
全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
論文 参考訳（メタデータ） (2023-10-26T21:47:59Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳（メタデータ） (2023-10-23T01:47:29Z) - MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language
Models [64.70153487607172]
言語モデル(LM)は、様々な自然言語タスクにおいて印象的なパフォーマンスを示している。
自然言語の推論に関しては、いまだに幻覚、誤った中間推論ステップの生成、数学的誤りなどの課題に直面している。
近年の研究では、フィードバックによる自己改善によるLMの強化に焦点が当てられている。
本研究では,凍結したLMや外部ツールなど,複数のフィードバックモジュールを統合する反復的改善フレームワークであるMulti-Aspect Feedbackを提案する。
論文 参考訳（メタデータ） (2023-10-19T02:32:39Z) - REFINER: Reasoning Feedback on Intermediate Representations [47.36251998678097]
中間推論を生成するための言語モデルを微調整するフレームワークであるREFINERを紹介する。
REFINERは、推論に対する自動フィードバックを提供する批評家モデルと対話することで機能する。
経験的評価は、同等のスケールのベースラインLMよりも大幅に改善された。
論文 参考訳（メタデータ） (2023-04-04T15:57:28Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Language Models Are Greedy Reasoners: A Systematic Formal Analysis of
Chain-of-Thought [10.524051272257614]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。
本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。
これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
論文 参考訳（メタデータ） (2022-10-03T21:34:32Z) - The Language Model Understood the Prompt was Ambiguous: Probing
Syntactic Uncertainty Through Generation [23.711953448400514]
このような分析に対して,ニューラルネットワークモデル(LM)がどの程度不確実性を示すかを調べる。
LMは複数の解析を同時に追跡できることがわかった。
曖昧な手がかりに対する応答として、LMは正しい解釈を選択することが多いが、時々エラーは改善の潜在的な領域を示す。
論文 参考訳（メタデータ） (2021-09-16T10:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。