У Кумарасвами отец был сингалом с Цейлона (Шри-Ланки), с детства выросшим в Англии и англизированным. Он был даже соратником Дизраэли.
Мать Кумарасвами - англичанка.
Отец умер, когда Кумарасвами было три года. Он сам вырос всецело в Англии и когда приезжал на Цейлон, то видел, что путь внешнего обезьяньего подражания европейцам в одежде и повадках бесперспективен.
В это время колониальное общество искусств на Цейлоне считало, что индийское и буддийское искусство - это вообще не искусство, а гадость. Кумарасвами доказал, что это искусство. И первые свои труды издал именно у моррисовцев.

Так продолжалось до 1917 г., когда его жена-англичанка ушла от него к Кроули, а сам Кумарасвами продал свою коллекцию предметов искусства в Бостонский музей и навсегда переехал в США. Он не мог найти работы на Цейлоне и поэтому был вынужден остаться в Бостоне.
К концу 20-х он прочитал Генона и забросил занятия искусством, целиком переключившись на религиозную философию. Но оставался хранителем музея в течение 30 лет.
В 1947 г. 70-летний Кумарасвами вышел на пенсию, купил билет на Цейлон, но вдруг умер в Бостоне. Его новая жена отпела его у греческого священника по-православному, а потом тело увезли в Индию и сожгли над Гангом.