前身為舊域多利軍營卡素樓(Cassels Block)，建於1900年左右，屬一級歷史建築。大樓本身為已婚軍人宿舍，屬域多利軍營的一部份，採用愛德華時代古典復興主義風格建成。卡素樓一共樓高三層，以四個階級組成並以樓梯形式沿陡斜山坡而建，在香港古蹟中十分罕見。
卡素樓於1989年2月改建為香港視覺藝術中心（即香港公園第二期），以取代位於中環大會堂的舊址，並於1992年4月28日正式啟用。現時香港視覺藝術中心主要為視覺藝術家提供學習和創作場所，另設有展覽廳和演講廳，同時每月多類型的藝術活動，包括課程、展覽、示範、講座等。
香港視覺藝術中心著重為藝術家提供專業、完善的藝術工作室，讓全職、業餘藝術家或者喜愛藝術的大眾能夠得以利用這些設施和空間從事藝術創作。這些藝術工作室包括多用途工作室、陶瓷室、雕塑室及版畫室。多用途工作室除了作為凸板畫室，還提供了可舉行藝術課程和會議等活動的設施。陶瓷室、雕塑室及版畫室亦設有各種先進的工具和設備，供藝術創作者使用。
開放時間及交通資訊可參考網頁：
https://www.lcsd.gov.hk/CE/Museum/APO/zh_CN/web/apo/va_visit.html
