1903年12月28日，约翰·冯·诺伊曼生于匈牙利的布达佩斯。他生活在一个非常富裕的家庭里。从小就显示了在科学方面的才能。10岁时，他进了布达佩斯的高级中学。以后，他的才能得到了进一步的发挥。12岁他就掌握了函数论。不满18岁，他就在德国的数学杂志上发表了论文。

1921年，冯·诺伊曼进入布达佩斯大学学习数学。后来，他在瑞士联邦工业大学获化学硕士学位，又在布达佩斯大学获数学博士的学位。

1927年，冯·诺伊曼在汉堡大学当了讲师。1928年，他又成了美国普林斯顿大学的客座教授，1931年，他成了该大学的终身教授。冯·
诺伊曼还掌握了拉丁文和希腊文，能流畅地使用英、德、法语与人交谈。

1942年，美国设立了主要是制造原子弹的洛斯阿拉莫斯研究所。1943年起，诺伊曼以顾问的身份参加了洛斯阿拉莫斯研究所的工作。
洛斯阿拉莫斯研究所给了诺伊曼许多研究课题。为了解决这些问题，冯·诺伊曼必须进行大量的计算。由于这项工作的需要，他开始设想研制高速度的电子计算机。

当时，最先进的计算机是“ENIAC”。这台计算机从1946年开始运转，它有存储能力，但运算时，要用手操作控制板上的开关。每次改变工作内容时，还要将一组新的配线装入机器，教给机器程序，而且，机器也很容易发生故障。

冯·诺伊曼同莫里克、埃克特一起，研究出把存储装置和基本指令组合在一起，把控制指令内藏在存储装置中的方法。这样，改变程序时就无须改变配线了。这就是所谓的内藏程序方式。于是，就产生了离散变量自动电子计算机（“EDVAC”）。就这样，电子计算机从单纯的运算机械“进化”为孕育着具有无限的可能性的万能机械。

冯·诺伊曼还在运算理论上对电子计算机的使用做出了重要贡献。1945年，42岁的诺伊曼就任普林斯顿高级研究所的计算机研究所所长。此后，他和他的同事们又研制出叫“JONI-AC”的计算机。

在计算机设计上，他们模仿了生物大脑中的某些动作。从此，冯·诺伊曼又开始对神经学进行研究。他从神经学和心理学的角度研究人，进而确立了自动化理论。

1954年，诺伊曼成为美国原子能委员会委员。1957年2月8日他因病去逝。

在电子计算机的漫长的发展历史上，没有哪一个人可以独占发明者的席位。但可以说，冯·诺伊曼是一个为计算机技术的发展做出了伟大贡献的人。