令人遗憾的是，不久以后，与感知器有关的研究遭遇了两次严重的挫折。第一次主要是技术方面的原因，也有些许人为因素。感知器当时已经被证实能够完成简单的学习任务，例如识别语音或印刷字体。然而，它们也成功地引起了广泛关注，给它们的投资也远远超过了技术取得成功的水平。这使得人工智能界内部产生了矛盾。马文·明斯基就是众多直率的评论家之一。明斯基在读博士时就已经研究过神经网络，但是对该领域已经不抱任何希望。自20世纪50年代以来，罗森布拉特与明斯基曾在众多科学会议上就脑启发计算机（brain-inspin computer）的有效性展开争论。罗森布拉特强烈推荐他研发的技术，称感知器实际上能够完成任何学习任务。明斯基则持截然相反的态度。直到1969年，明斯基与研究人员西蒙·派珀特合著了一本著作才打破这一僵局，该书就感知器可能无法完成的事情进行抨击。明斯基和派珀特总结道，这一技术“不具有任何科学价值”。为神经网络筹集的资金也顷刻化为乌有。
第二次挫折更加悲惨。明斯基和派珀特出版《感知器》一书两年后，在一个周日，弗兰克·罗森布拉特去美国最大的河口切萨皮克湾划船。那天是他43岁的生日，然而当天发生了意外，罗森布拉特就这样去世了。在康奈尔大学的悼词中他的一位同事写道：“他的离去让我们失去了一个最无私、最富有同情心的同事，他的机智和幽默给我们留下了深刻的印象。”这样一来，感知器也就失去了最忠实的拥护者。
脑启发式神经网络在接下来的10年中似乎销声匿迹了。后来，西蒙·派珀特以童话的方式，将传统人工智能和感知器之间的冲突总结如下：
从前，控制论科学生了两个女儿，一个是自然的，能够从对人脑的研究和自然规律中继承特性。另一个女儿是人造的，涉及范围从计算机最初的创造到使用。这两姐妹都想要建造智能模型，但是用的材料却大不相同。自然科学使用数学纯化神经元构造模型（称为神经网络），而人造科学则是通过计算机程序构造模型。
派珀特借用了白雪公主的故事，将他和明斯基对感知器的抨击比作猎人冲入树林对白雪公主的追杀。就像童话故事中讲的那样，派珀特和明斯基带着感知器的“心脏”回到他们的主人（在本案例中，我们称其为万能的“美国国防部高级研究计划局”）身边，证实感知器已经死了。“然而，派珀特和明斯基展示给世界的证据并不是白雪公主的心脏，而是猪的心脏。”
这可能曾一度引起过度紧张，但派珀特承认，神经网络躲过了他和明斯基的猛攻。事实也确实如此。实际上，派珀特在20世纪80年代末写下这句话的时候，神经网络已经又一次发展得如火如荼。