Als William in Malaysia angekommen war, erkundete er mehrere Geschäftsmöglichkeiten, hatte jedoch zunächst keinen Erfolg, bis er Charles Alma Baker traf, einen Gutsbesitzer, Pflanzer, Landvermesser und Bergmann aus Neuseeland, der Ende der 1890er Jahre nach Batu Gajah gekommen war. William trat dem Vermessungsunternehmen Baker's bei, das mehrere Regierungsprojekte zum Bau von Straßen im Süden von Perak erhielt und von der Landesregierung Konzessionen für die Abholzung von 360 Hektar Wald in dem Bundesstaat erhielt. Nachdem Kellie-Smith durch diese Geschäftsbeziehung vermögend geworden war, versuchte er Kaffee anzupflanzen, was jedoch aufgrund der stark gesunkenen Preise wenig erfolgsversprechend war. Doch die Erfindung von Luftreifen für Automobile versprach eine enorme Nachfrage nach Gummi. Seine erste Kautschukplantage nannte er stolz Kinta Kellas Estate und sein Zinnbergbauunternehmen Kinta Kellas Tin Dredging Company.
Im Jahr 1903 kehrte der 33-jährige William Smith nach Schottland zurück, um seine sterbende Mutter zu besuchen und sie anschließend zu beerdigen. Zu dieser Zeit nahm er den Mädchennamen seiner Mutter „Kellie“ an und wurde zu William Kellie-Smith. Während seiner Rückreise nach Malaysia lernte er wohl Agnes kennen, die aus einer erfolgreichen Baumwollfamilie aus Liverpool stammte, und heiratete sie kurz nach der Ankunft auf Penang. Mit dem Bau von Kellie's Castle begann er kurz nachdem Agnes ein kleines Mädchen namens Helen Agnes Smith zur Welt gebracht hatte. 1915 kam sein Sohn namens Anthony zur Welt. Nach Kriegsende im Jahr 1918 hofften alle auf Frieden, doch die Situation änderte sich mit dem Ausbreiten der Spanischen Grippe, die die meisten von Williams indischen Landarbeitern tötete - ein Grund für die Errichtung des nahegelegenen Tempels um die Götter milde zu stimmen. (Bildnachweis: WHW Design)