История музея восходит к далеким 1920-м годам и связана с научно-исследовательским обществом «Саха кэскилэ» («Будущее якутов»), в котором секцию искусства с самого начала возглавляли выдающиеся деятели национальной культуры, литературы и искусства: П. А. Ойунский и А.И. Софронов. Творческая деятельность общества была чрезвычайно активной: в 1925 году был предложен проект открытия Картинной галереи, в 1926 — организована выставка изобразительного искусства, в 1927 — вопрос о галерее был рассмотрен правительством Якутской АССР.
Музей был основан 8 ноября 1928, когда состоялось открытие картинного зала при Областном краеведческом музее: основой собрания стали 27 живописных произведений из фондов Государственной Третьяковской галереи, переданных в дар республике. Эта небольшая коллекция представляла подбор характерных образцов русской живописи второй половины XIX — начала XX века. Среди картин была «Поздняя осень» И.И. Левитана; этюды В.Д. Поленова из палестинской серии; широко и свободно написанный натюрморт «Букет» К.А. Коровина, в котором нашли отражение характерные черты «русского импрессионизма». Также были два портрета с женскими образами — «Дама в черном» (1864) К.Е. Маковского и «Портрет Елены (?) Снегиревой» (1897) В.Е. Маковского. Эти произведения по своим живописным достоинствам и по значению представленных имен изначально задали качественный уровень, во многом определивший пути дальнейшего формирования коллекции.
В 1946 году приказом Управления по делам искусств и при деятельном участии ученого-этнографа С.И. Боло, художника М.М. Носова и председателя якутского Союза художников, народного художника Якутии П. П. Романова, картинный зал был преобразован в Якутский музей изобразительных искусств. Первым директором являлся народный художник Якутии В.А. Кандинский.
В становлении музея большое значение сыграла деятельность Л.М. Габышева — художника, ставшего его директором с 1952-ого по 1975-ый годы. Он был знаком с якутскими деятелями искусства, с коллекционерами Москвы и проявил подлинный энтузиазм в деле развития якутского музея, придании ему ментального облика национальной сокровищницы. Отобранные им произведения в различных запасниках страны, мастерских ведущих художников и частных коллекциях, обширная переписка со специалистами крупных российских музеев способствовали системным поступлениям в фонды качественных произведений старого и современного искусства.
Яркой страницей в истории музейного дела в республике стала безвозмездная передача в 1962 году более 250 произведений западноевропейского искусства ХVI-ХIХ веков из семейного собрания известного якутского ученого, доктора экономических наук, профессора М. Ф. Габышева. В составе дара можно отметить итальянских мастеров — Никколо Реньери, Джованни Баттиста Питтони, голландских художников - Александра Адриансена, Фредерико де Мушерона, превосходные портреты неизвестного фламандского мастера первой четверти ХVII века. На основе картин из коллекции М.Ф.Габышева в 1970 году, в бывшем здании Якутского уездного казначейства, построенного в 1909 году, был открыт филиал — «Музей западноевропейского искусства», преобразованный в 1995 году в «Галерею зарубежного искусства имени профессора М.Ф.Габышева».
Большую помощь музею в формировании собрания старого искусства оказал московский коллекционер Ф.Е. Вишневский, даривший на протяжении многих лет произведения русской и западноевропейской живописи. Среди них портрет «Мальчик с погремушкой» неизвестного русского мастера второй половины ХVIII века, парадный «Портрет генерала М.Н.Муравьева», написанный около 1864 г. кистью Н.Г. Шильдера. Следует также отметить работы, позднее поступившие в отдел русского искусства, среди них пейзажи «Сумерки» И.И. Шишкина, «Лунная ночь» А.И. Куинджи, полотно И.К. Айвазовского «Героиня Боболина…».
Важнейшая часть музейного собрания - искусство Якутии, коллекция которого отличается полнотой и хронологической стройностью. Среди зачинателей якутского изобразительного искусства — народные художники Якутии: И.В.Попов (1874-1945), чье творчество явилось первым опытом изобразительной культуры и освоения традиций русского искусства на якутской земле; М.М. Носов (1887-1960), произведения которого отличает интерес к фольклорным сюжетам и материальной культуре народа саха; П.П. Романов (1902-1952), с именем которого связано профессиональное развитие Союза художников Якутии и становление самого музея.
Якутский отдел в музейном собрании определился в основных своих чертах в середине 1960-х годов, что было обусловлено успешным развитием профессионального изобразительного искусства республики. Огромное значение для его формирования имели крупные художественные выставки конца 1950-1980-х годов, проходившие в Якутии и России, создание зональных коллективов и ряд других факторов, стимулировавших творческий рост художников.
В 1970-е годы состав коллекции обогатился произведениями, отразившими самобытное, по-своему уникальное явление, как «якутская графика», характеризующаяся яркой национальной принадлежностью, своим кругом тем, образной структурой, а также применением самых различных техник: рисунка, офорта, линогравюры, литографии, ксилографии, монотипии и т.д.
Музей обладает большим количеством произведений, которые можно рассматривать как программные для творческого наследия многих якутских художников: живописцев А.Н. Осипова, В.Г. Петрова, А.П. Собакина, Э.И. Васильева, И.Е. Капитонова, Т.А. Степанова; графиков Э.С.Сивцева, А.П. Мунхалова, В.Р. Васильева, В.С. Карамзина, М.А. Рахлеевой; скульпторов К.Н. Пшенникова, С.А. Егорова, П.А. Захарова, Р.Н. Бурцевой; мастеров декоративно-прикладного искусства Т.В. Аммосова, С.Н. Пестерева, С.Н. Петрова, Е.Е. Аммосовой и многих других, представляющих тематические, образные, стилевые и традиционные особенности изобразительного искусства Якутии.
Современный художественный процесс отражен в произведениях, отмеченных поисками декоративных пластических приемов, многозначностью смысла изображенного. Изменившийся взгляд на мир обусловил более широкое обращение художников к опыту мирового искусства, вызвал неоднозначное переосмысление реалий действительности, острую национальную окрашенность. Молодые художники, наряду с трактовкой актуальных общечеловеческих проблем, по-новому осмысляют тему взаимоотношения человека и общества, человека и среды. В связи с этим можно назвать имена А.Д. Васильева, М.Г. Старостина, М.М. Лукиной, Ю.В. Спиридонова, А. Чикачева, Т.Е. Шапошниковой, Э.И. Пахомова, С.К. Прокопьева.
Особой гордостью музея является коллекция резной кости ХIХ-ХХ веков. Она представляет уникальное по своей художественной значимости культурное явление, свидетельствующее об оригинальности этнического мышления. По составу коллекции можно проследить эволюцию этого художественного промысла, известного с XVIII века, его характерные особенности — пластичность, выразительность, лаконизм в отборе изобразительных средств. Предметное и жанровое разнообразие велико — от традиционных шкатулок, декоративных кубков, пластин, шахмат, до многофигурных композиций с фольклорными мотивами, фигурок животных, сценок из сельской жизни, ножей, трубок и письменных приборов, выполненных из ископаемого бивня мамонта.