香港人对于赛马是十分狂热的。1845年香港举行第一次赛马，地点已无从查考。当年的快活谷仍是一片水稻田，四周围是小溪流，不可能举行赛马。在快活谷有一跑马地坟场，比马场早三年出现，最早时，这里叫黄泥涌村，并无“快活谷”之称。黄泥涌村处于山谷地带，在“谷”字之前加“快活”二字，大概含意：这是人死后应到的“极乐”世界。赛马会成立之后，快活谷马场屡加维修，渐具规模，跑道一旁有木搭看台，供会员和马迷欣赏赛事。当年景况，可从画家查里士·华加文速写中看到：跑马地向海的一面平坦，其他三面有山环绕。画面中诸色人等，有坐轿子入场的观众，有在路旁摆卖熟食的小贩。刊载于伦敦《图片报》。