Decyzję o powołaniu Muzeum Ludowych Instrumentów Muzycznych, jako oddziału Muzeum Świętokrzyskiego w Kielcach (później Muzeum Narodowego), podjęły we wrześniu 1968 r. Ministerstwo Kultury i Sztuki oraz władze województwa kieleckiego. Na jego siedzibę przeznaczono pomieszczenia I piętra skrzydła wschodniego restaurowanego wówczas zamku w Szydłowcu. Nadzór nad konserwacją zamku i organizację muzeum powierzono Danucie Słomińskiej-Paprockiej. Lata 1968-1975 to okres organizacji placówki, pozyskiwania i gromadzenia unikatowych, a zagrożonych zaginięciem instrumentów muzycznych, oraz badań terenowych. Muzeum otwarto dla zwiedzających 19 maja 1975 r., wtedy to udostępniono wystawę stałą pokazującą polskie instrumenty i kapele ludowe oraz instrumenty z terenu województwa kieleckiego. Scenariusz ekspozycji opracowali: Jadwiga Sobieska z Zespołu Folkloru Instytutu Sztuki PAN w Warszawie oraz Jan Stęszewski pracownik naukowy tego Instytutu. Muzeum jako placówka specjalistyczna objęła zasięgiem teren całego kraju, prezentując aktualny stan polskiego instrumentarium ludowego. Projekt scenografii wystawy wraz ze sprzętem ekspozycyjnym i oprawę plastyczną zlecono artystom: Sewerynie Gugale-Stolarskiej i Jerzemu Stolarskiemu, którą z czasem zliczono do grupy najnowocześniejszych w Polsce ekspozycji etnograficznych.

W roku 1976 MLIM stało się samodzielną placówką specjalistyczną. Międzynarodowa Rada Muzyki Ludowej UNESCO w 1977 r. uznała muzeum w Szydłowcu za pierwsze w świecie muzeum ludowych instrumentów muzycznych jednego kraju. Jeden z czołowych etnomuzykologów europejskich prof. Ludwik Kunz z Brna uznał, iż samo powołanie do życia takiej placówki jest w Europie czynem awangardowym, wykraczającym znaczeniem poza granice jednego narodu (Pismo do Ministerstwa Kultury i Sztuki z lutego 1980 r.). Oprócz prowadzenia działalności wystawienniczej, muzeum było organizatorem konkursów na budowę ludowych instrumentów muzycznych. Wiele z tych pokonkursowych instrumentów dołączyło do muzealnej kolekcji.

W szydłowieckim zamku działała również Międzywojewódzka Pracownia Konserwacji Dzieł Sztuki, w 1979 r. przekształcona w oddział MLIM decyzją Ministra Kultury i Sztuki. W roku 1992 pracownia ta została odziałem Muzeum Okręgowego w Radomiu. MLIM było również głównym pomysłodawcą i wykonawcą idei stworzenia biograficznego Muzeum im. Oskara Kolberga w Przysusze, które w latach 1979-1992 stanowiło oddział szydłowieckiej placówki.

W roku 1999 MLIM wpisano do Państwowego Rejestru Muzeów. Po podziale administracyjnym kraju od 1 stycznia 1999 r. muzeum przeszło pod Zarząd Starostwa Powiatu Szydłowieckiego, a od 1 stycznia 2005 r. przejął tę placówkę Samorząd Województwa Mazowieckiego, wtedy też wpisano ją do Rejestru Instytucji Kultury.

MLIM aktywnie uczestniczy w rozwoju kulturalnym Polski, organizując wystawy czasowe, koncerty, prelekcje, warsztaty, a także prowadzi inne działania edukacyjne. W roku 2013 wystawa czasowa pt. Harmonie — gra cały świat zajęła III miejsce w konkursie „Mazowieckie Zdarzenia Muzealne — Wierzba” w kategorii najciekawsza wystawa zorganizowana przez placówkę muzealną na Mazowszu. W tym samym konkursie i w tej samej kategorii rok wcześniej muzeum otrzymało wyróżnienie za wystawę pt. Dudy, niezwykły instrument muzyczny, a w bieżącym roku zostało laureatem II nagrody tegoż konkursu w kategorii najlepszy muzealny projekt otwarty w 2014 r. Organizowane przez muzeum warsztaty muzyczne Graj mi muzykancie, ja cie lubie słuchać w ramach programu Instytutu Muzyki i Tańca „Szkoła Mistrzów Tradycji” zyskały zasięg ogólnopolski. Uczestnicy mieli możliwość nauki gry na skrzypcach, basach, bębenku, harmonii trzyrzędowej oraz barabanienia. Warsztatom towarzyszyły zabawy taneczne z muzyką na żywo. Warsztaty cieszyły się dużym zainteresowaniem, były świetną okazją do poznania instrumentów i wysłuchania tradycyjnych melodii granych przez ludowych mistrzów. Ciekawym projektem, nagrodzonym w bieżącym roku II nagrodą w konkursie „Mazowieckie Zdarzenia Muzealne — Wierzba”, był cykl wydarzeń artystycznych, naukowych i edukacyjnych pt. Kobieta z harfą — wokół sekretnej aury obrazu związanych z promocją zakupionego do zbiorów muzeum obrazu J.P. Bredta pt. Portret kobiety w czarnej sukni (Portret kobiety z harfą). Projekt zainaugurował koncert kameralny, którego oryginalna formuła łączyła malarstwo z muzyką. W programie goście usłyszeli m.in. prawykonanie kameralnej wersji Koncertu na flet, harfę W. A. Mozarta KV 299. Kolejnym wydarzeniem tego cyklu był wykład Janusza Wałka pt. Ut musica pictura — malarstwo jak muzyka, którego wysłuchała szydłowiecka młodzież, ostatnim zaś były warsztaty plastyczne pt. Uroda portretu dedykowane najmłodszym.