論文の概要: LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation

• arxiv url: http://arxiv.org/abs/2503.02972v3
• Date: Fri, 07 Mar 2025 09:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:55:27.395812
• Title: LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation
• Title（参考訳）: lingoLY-TOO:言語的テンプレート化とorthographic Obfuscationによる推論から覚醒を遠ざける
• Authors: Jude Khouja, Karolina Korgul, Simi Hellsten, Lingyi Yang, Vlad Neacsu, Harry Mayne, Ryan Kearns, Andrew Bean, Adam Mahdi,
• Abstract要約: 本稿では,モデル性能推定における暗記の影響を低減する言語推論問題を生成するための枠組みを提案する。 このフレームワークを言語推論のための挑戦的なベンチマークであるlingOLY-TOOの開発に適用する。
• 参考スコア（独自算出の注目度）: 1.2576388595811496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Assessing the reasoning capabilities of large language models (LLMs) is susceptible to overestimation due to data exposure of evaluation benchmarks. We introduce a framework for producing linguistic reasoning problems that reduces the effect of memorisation in model performance estimates and apply this framework to develop LINGOLY-TOO, a challenging benchmark for linguistic reasoning. By developing orthographic templates, we dynamically obfuscate the writing systems of real languages to generate numerousquestion variations. These variations preserve the reasoning steps required for each solution while reducing the likelihood of specific problem instances appearing in model training data. Our experiments demonstrate that frontier models, including Claud 3.7 Sonnet, o1-preview and DeepSeek R1, struggle with advanced reasoning. Our analysis also shows that LLMs exhibit noticeable variance in accuracy across permutations of the same problem, and on average perform better on questions appearing in their original orthography. Our findings highlight the opaque nature of response generation in LLMs and provide evidence that prior data exposure contributes to over estimating the reasoning capabilities of frontier models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力を評価することは、評価ベンチマークのデータ露出による過大評価の影響を受けやすい。 本稿では,モデル性能推定における暗記の影響を低減する言語推論問題を生成するためのフレームワークを提案し,このフレームワークを言語推論の挑戦的ベンチマークであるlingOLY-TOOの開発に応用する。 正書法テンプレートの開発により,実言語の書記系を動的に難読化し,様々なバリエーションを生成する。 これらのバリエーションは、モデルトレーニングデータに現れる特定の問題インスタンスの可能性を低減しつつ、各ソリューションに必要な推論ステップを保存する。 我々の実験は、Claud 3.7 Sonnet、o1-preview、DeepSeek R1といったフロンティアモデルが高度な推論に苦しむことを示した。 解析の結果,LLMの精度は同一問題の範囲で顕著なばらつきを示し,元の正書法に現れる質問に対して平均してよい結果が得られた。 本研究は,LLMにおける応答生成の不透明な性質を浮き彫りにして,フロンティアモデルの推論能力の過大な評価に先行したデータ露出が寄与することを示すものである。

関連論文リスト

• Beyond Chains of Thought: Benchmarking Latent-Space Reasoning Abilities in Large Language Models [0.0]
  大規模言語モデル(LLM)は、潜在空間内と外部の両方で推論計算を行うことができる。 本研究では,異なる領域におけるモデル内部推論を定量化するベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-14T18:15:27Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Investigating the Robustness of Deductive Reasoning with Large Language Models [7.494617747914778]
  大規模言語モデル(LLM)は多くの推論に基づく自然言語処理(NLP)タスクにおいて印象的な結果が得られることが示されている。 LLMが、非公式および自己形式化の両方の手法で、どの程度論理的推論タスクに頑健であるかは、まだ不明である。
  論文  参考訳（メタデータ） (2025-02-04T17:16:51Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  我々は、大言語モデルの厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果,ほとんどのSOTA (State-of-the-art (SOTA) LLMは人体平均よりも著しく低下していることがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Exploring Robustness of LLMs to Sociodemographically-Conditioned Paraphrasing [7.312170216336085]
  我々は、社会デミノグラフィーの次元にまたがる幅広いバリエーションを探求するために、より広いアプローチを取る。 我々はSocialIQAデータセットを拡張し、ソシオデミノグラフィースタイルを条件とした多様なパラフレーズセットを作成する。 人口統計学的パラフレーズが言語モデルの性能に大きく影響していることが判明した。
  論文  参考訳（メタデータ） (2025-01-14T17:50:06Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• LLMs are Superior Feedback Providers: Bootstrapping Reasoning for Lie Detection with Self-Generated Feedback [33.14770105185958]
  大型言語モデル (LLM) は人間に似た対話やテキストの理解に優れる。 本研究では,自己生成フィードバックを活用し,嘘検出のためのLPM推論能力を向上させるブートストラップフレームワークを提案する。 本稿では,外交ゲームにおける裏切・偽装検出のためのフレームワークの適用について検討し,プロの人間プレイヤーからのフィードバックと比較する。
  論文  参考訳（メタデータ） (2024-08-25T18:47:55Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• Prompting or Fine-tuning? Exploring Large Language Models for Causal Graph Validation [0.0]
  本研究では,因果グラフの因果性を評価するための大規模言語モデルの有用性について検討する。 本研究では,(1)ゼロショットと少数ショットの因果推論のためのプロンプトベース手法,(2)因果関係予測タスクのための微調整言語モデルの比較を行った。
  論文  参考訳（メタデータ） (2024-05-29T09:06:18Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。