論文の概要: Causality can systematically address the monsters under the bench(marks)

• arxiv url: http://arxiv.org/abs/2502.05085v1
• Date: Fri, 07 Feb 2025 17:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:33.234524
• Title: Causality can systematically address the monsters under the bench(marks)
• Title（参考訳）: 因果性はベンチの下のモンスターに体系的に対処できる(マーク)
• Authors: Felix Leeb, Zhijing Jin, Bernhard Schölkopf,
• Abstract要約: ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
• 参考スコア（独自算出の注目度）: 64.36592889550431
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effective and reliable evaluation is essential for advancing empirical machine learning. However, the increasing accessibility of generalist models and the progress towards ever more complex, high-level tasks make systematic evaluation more challenging. Benchmarks are plagued by various biases, artifacts, or leakage, while models may behave unreliably due to poorly explored failure modes. Haphazard treatments and inconsistent formulations of such "monsters" can contribute to a duplication of efforts, a lack of trust in results, and unsupported inferences. In this position paper, we argue causality offers an ideal framework to systematically address these challenges. By making causal assumptions in an approach explicit, we can faithfully model phenomena, formulate testable hypotheses with explanatory power, and leverage principled tools for analysis. To make causal model design more accessible, we identify several useful Common Abstract Topologies (CATs) in causal graphs which help gain insight into the reasoning abilities in large language models. Through a series of case studies, we demonstrate how the precise yet pragmatic language of causality clarifies the strengths and limitations of a method and inspires new approaches for systematic progress.
• Abstract（参考訳）: 経験的機械学習の進歩には有効かつ信頼性の高い評価が不可欠である。 しかし、ジェネラリストモデルのアクセシビリティの向上と、より複雑でハイレベルなタスクへの進歩により、体系的な評価がより困難になる。 ベンチマークはさまざまなバイアスやアーティファクト、あるいはリークによって悩まされる一方、モデルは、十分に調査されていない障害モードのために不安定に振る舞います。 このような「モンスター」のハファザード的な扱いや矛盾した定式化は、努力の重複、結果への信頼の欠如、そしてサポートされていない推論に寄与する。 本稿では,これらの課題を体系的に解決する上で,因果関係は理想的な枠組みであると主張している。 アプローチで因果仮定を明示することにより、現象を忠実にモデル化し、説明力で検証可能な仮説を定式化し、分析に原則化されたツールを活用することができる。 因果モデルの設計をより容易にするために,因果グラフにおけるいくつかの有用な共通抽象トポロジ(CAT)を同定し,大規模言語モデルにおける推論能力の把握に役立てる。 一連のケーススタディを通じて,因果関係の正確かつ実践的な言語がメソッドの強みと限界を明確にし,体系的な進歩に新たなアプローチを導出する方法を実証する。

関連論文リスト

• Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning [22.32435186013626]
  本稿では,いくつかの潜在能力因子の線形変換としてベンチマーク性能をモデル化した因果表現学習フレームワークを提案する。 このアプローチを6つのベンチマークで評価された1500以上のモデルを含む包括的データセットに適用することにより、観測された性能変動を確実に説明できる簡潔な3ノード線形因果構造を同定する。
  論文  参考訳（メタデータ） (2025-06-12T06:07:42Z)
• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Evaluating the Logical Reasoning Abilities of Large Reasoning Models [15.009205651973666]
  大規模な推論モデルにおける論理的推論を評価するためのベンチマークであるLogiEvalを紹介する。 LogiEvalは様々な推論タイプ(帰納的、帰納的、類推的、帰納的)とタスク形式(論理的シーケンス、引数解析など)にまたがる。 実験により,現代の推論モデルでは,4選択の議論解析問題や類似推論において,人間の性能を上回っていることがわかった。 解析の結果,人為的性能はモデル故障分布を反映しないことがわかった。
  論文  参考訳（メタデータ） (2025-05-17T05:36:14Z)
• Reasoning Inconsistencies and How to Mitigate Them in Deep Learning [4.124590489579409]
  この論文は予測的不整合を検出し定量化する2つの技術に貢献している。 トレーニングデータのバイアスから不整合を緩和するため,本論文では,データ効率のよいサンプリング手法を提案する。 最後に、この論文は、複雑な推論タスクのためにモデルを最適化する2つのテクニックを提供する。
  論文  参考訳（メタデータ） (2025-04-03T13:40:55Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• Imitate, Explore, and Self-Improve: A Reproduction Report on Slow-thinking Reasoning Systems [92.89673285398521]
  o1のような推論システムは、複雑な推論タスクを解く際、顕著な能力を示した。 推論モデルをトレーニングするために、模倣、探索、自己改善のフレームワークを導入します。 提案手法は,産業レベルの推論システムと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2024-12-12T16:20:36Z)
• Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
  利用可能な最大規模でトレーニングされた最先端モデルの機能と推論能力の劇的な破壊を実演する。 モデルは、問題の解決に影響を与えない、微妙な問題バリエーションでさえも強い変動を示すため、その分解は劇的である。 これらの初期観測は、現在世代の大言語モデルが主張する能力の再評価を急激に促すものである。
  論文  参考訳（メタデータ） (2024-06-04T07:43:33Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• When and How to Fool Explainable Models (and Humans) with Adversarial Examples [1.439518478021091]
  説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。 まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。 次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-05T11:20:55Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。