Il est classé au numéro 33 des 100 meilleurs guitaristes de tous les temps selon le magazine Rolling Stone.

Ranaldo est né à Glen Cove, dans le Long Island,à New York, et il est diplômé de l'Université de Binghamton. Il a commencé sa carrière à New York dans plusieurs groupes, tel que Plus Instruments et en joignant l'orchestre de Glenn Branca en 1980, au sein duquel il rencontre Thurston Moore. En 1981, Lee Ranaldo remplace Marty Pierrant's dans le groupe Sonic Youth, qui n'est à l'époque qu'un groupe débutant, n'ayant joué que quelques concerts.