Comme la Munttoren (tour de la monnaie), la Montelbaanstoren fut d'abord édifiée, au début du XVIe siècle, comme tour de guet.
Elle fut ensuite équipée d'une horloge dont les cadrans, mal réglés, auraient donné quatre heures différentes. De là viendrait le surnom de Jacques l'idiot attribué à l'édifice par les amsteldamois.