論文の概要: AnaloBench: Benchmarking the Identification of Abstract and Long-context
Analogies
- arxiv url: http://arxiv.org/abs/2402.12370v1
- Date: Mon, 19 Feb 2024 18:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 14:57:36.319045
- Title: AnaloBench: Benchmarking the Identification of Abstract and Long-context
Analogies
- Title(参考訳): AnaloBench: 抽象および長文のアナロジーの同定のベンチマーク
- Authors: Xiao Ye, Andrew Wang, Jacob Choi, Yining Lu, Shreya Sharma, Lingfeng
Shen, Vijay Tiyyala, Nicholas Andrews, Daniel Khashabi
- Abstract要約: アナロジー思考は、人間が創造的な方法で問題を解決し、難しい概念を把握し、より効果的にアイデアを表現できるようにする。
言語モデル(LM)における類似推論能力を決定するベンチマークAnALOBENCHを提案する。
我々のベンチマーク手法は、人間に共通するこの能力の側面に焦点を当てている: (i) 大量の情報から関連する経験を思い出し、 (ii) 複雑で長いシナリオに類推的推論を適用する。
- 参考スコア(独自算出の注目度): 20.35137053775108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans regularly engage in analogical thinking, relating personal experiences
to current situations ($X$ is analogous to $Y$ because of $Z$). Analogical
thinking allows humans to solve problems in creative ways, grasp difficult
concepts, and articulate ideas more effectively. Can language models (LMs) do
the same? To answer this question, we propose ANALOBENCH, a benchmark to
determine analogical reasoning ability in LMs. Our benchmarking approach
focuses on aspects of this ability that are common among humans: (i) recalling
related experiences from a large amount of information, and (ii) applying
analogical reasoning to complex and lengthy scenarios. We test a broad
collection of proprietary models (e.g., GPT family, Claude V2) and open source
models such as LLaMA2. As in prior results, scaling up LMs results in some
performance boosts. Surprisingly, scale offers minimal gains when, (i)
analogies involve lengthy scenarios, or (ii) recalling relevant scenarios from
a large pool of information, a process analogous to finding a needle in a
haystack. We hope these observations encourage further research in this field.
- Abstract(参考訳): 人間は、個人的な経験と現在の状況に関する類似の思考を定期的に行う(x$は$z$のため$y$に類似する)。
アナロジー思考は、人間が創造的な方法で問題を解決し、難しい概念を把握し、より効果的にアイデアを表現できるようにする。
言語モデル(LM)も同じことができますか?
そこで本研究では,LMの類似推論能力を決定するベンチマークAnALOBENCHを提案する。
私たちのベンチマークアプローチは、人間に共通するこの能力の側面に焦点を当てています。
(i)大量の情報から関連する経験を思い出すこと、
(ii)複雑で長いシナリオに類推を適用すること。
我々は、プロプライエタリなモデル(GPTファミリ、Claude V2)とLLaMA2のようなオープンソースモデルの広範なコレクションをテストする。
以前の結果と同様に、LMのスケールアップによってパフォーマンスが向上する。
驚くべきことに、スケールは最小の利益をもたらす。
(i)類推には長いシナリオ、または
(ii)大量の情報から関連するシナリオを想起すること。干し草の山で針を見つけるのと類似のプロセス。
これらの観測がこの分野のさらなる研究を促進することを願っている。
関連論文リスト
- ParallelPARC: A Scalable Pipeline for Generating Natural-Language
Analogies [18.4891314659345]
複雑な段落に基づくアナロジーを作成するパイプラインを開発する。
我々は人によって検証された金のセットと銀のセットを自動生成する。
私たちは、銀のセットがトレーニングモデルに役立つことを実証します。
論文 参考訳(メタデータ) (2024-03-02T08:53:40Z) - Scalable Learning of Item Response Theory Models [53.43355949923962]
項目応答理論(IRT)モデルは、分類データから、$m$テスト項目の遅延困難特性とともに、$n$試験の潜時能力を評価することを目的としている。
我々はこれらのモデルの類似性をロジスティック回帰に利用し、コアセットと呼ばれる小さな重み付き部分集合を用いて正確に近似することができる。
論文 参考訳(メタデータ) (2024-03-01T17:12:53Z) - Using Counterfactual Tasks to Evaluate the Generality of Analogical
Reasoning in Large Language Models [7.779982757267302]
大型言語モデル(LLMs)において従来主張されていた類推能力の一般性について検討する。
すべての問題に対して人間のパフォーマンスは高いままであるが、GPTモデルの性能は反ファクトセットで急激に低下している。
論文 参考訳(メタデータ) (2024-02-14T05:52:23Z) - Dive into the Chasm: Probing the Gap between In- and Cross-Topic
Generalization [66.4659448305396]
本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。
はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
論文 参考訳(メタデータ) (2024-02-02T12:59:27Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z) - Can language models learn analogical reasoning? Investigating training
objectives and comparisons to human performance [0.0]
我々は、基本的なアナロジー推論を学習するいくつかの方法を試し、特に人間のアナロジー推論を評価するために使われるものよりも典型的なアナロジーに焦点をあてる。
実験の結果,少量のデータであっても,モデルが類似推論を学習できることが判明した。
論文 参考訳(メタデータ) (2023-10-09T10:34:38Z) - ARN: A Comprehensive Framework and Benchmark for Analogical Reasoning on
Narratives [14.974288726314732]
アナロジカル推論は人間の主要な能力の1つであり、創造性や科学的発見と結びついている。
この能力は自然言語処理(NLP)や認知心理学において広く研究されている。
我々は、物語要素を利用した物語の類似的推論のための評価フレームワークを作成し、低階と高階のマッピングを作成する。
論文 参考訳(メタデータ) (2023-10-02T08:58:29Z) - Endogenous Macrodynamics in Algorithmic Recourse [52.87956177581998]
対実説明(CE)とアルゴリズム・リコース(AR)に関する既存の研究は、静的環境における個人に主に焦点を当ててきた。
既存の方法論の多くは、一般化されたフレームワークによってまとめて記述できることを示す。
次に、既存のフレームワークは、グループレベルでの言論の内在的ダイナミクスを研究する際にのみ明らかとなるような、隠された対外的関係のコストを考慮に入れていないと論じる。
論文 参考訳(メタデータ) (2023-08-16T07:36:58Z) - ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A
Million-scale Knowledge Base [22.606064986021412]
既存の知識グラフ(KGs)から派生した100万規模の類似知識ベース(KB)であるANALOGYKBを提案する。
ANALOGYKBは、KGsから直接抽出できる同一関係のアナログと、大きなLMで可能となる選択とフィルタリングパイプラインで識別される類似関係のアナログである。
論文 参考訳(メタデータ) (2023-05-10T09:03:01Z) - DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate
Decision Stumps [49.97564931094598]
複雑なMLモデルの振る舞いをユーザフレンドリに要約するビジュアル分析ツールであるDeforestVisを提案する。
DeforestVisは、より多くの切り株をインクリメンタルに生成することで、複雑さとフィデリティのトレードオフを探索するのに役立つ。
DeforestVisの適用性と有用性について,2つのユースケースと,データアナリストとモデル開発者とのエキスパートインタビューで紹介する。
論文 参考訳(メタデータ) (2023-03-31T21:17:15Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳(メタデータ) (2020-07-23T14:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。