清同治四年（1865），邑人原陜西巡撫劉典倡建于寧鄉(xiāng)水云山下。三面環(huán)山，佳木蔥蘢，綠野擴(kuò)展，溈水流逕，步云橋橫跨其上。“山水之勝，無殊岳麓”，“齋舍之制，全效城南”。當(dāng)時(shí)有步云橋、總會(huì)門、東西五門、講堂、崇道堂、希賢堂、先賢堂、仰極臺(tái)、凌云亭、奎光閣、文昌閣、藏書樓、東西八齋等建筑，可容徒160人。辟有鑒泉印月、奎閣凌云、云寺鐘聲等10景。云山書院是縣以下的書院，相當(dāng)于鄉(xiāng)學(xué)一類初級(jí)教育機(jī)構(gòu)，曾提出“修書院，廣育嬰”的宗旨，便于鄉(xiāng)民子弟就讀?！皷|西八齋，齋舍十間，可容徒百六十人”，比一般鄉(xiāng)學(xué)規(guī)模要大。“經(jīng)費(fèi)多來源于鄉(xiāng)紳捐助，士紳捐置田產(chǎn)668畝，年收租1300余石。以培養(yǎng)“處為大儒，出為良佐”之才為宗旨。山長為士林楷模，秘?fù)癖疽厮迣W(xué)名儒”；對(duì)學(xué)生要求“貴博學(xué)、審問、慎思，明辯以析其理，篤行以踐其慎”。書院創(chuàng)辦后，受維新變法影響，教學(xué)內(nèi)容開始加入自然科學(xué)和社會(huì)科學(xué)知識(shí)課程，一度成為寧鄉(xiāng)新文化運(yùn)動(dòng)中心。光緒二十八年（1902）改為高等小學(xué)堂。有《寧鄉(xiāng)云山書院志》傳世。

現(xiàn)校內(nèi)存有劉典寫的“倡建云山書院碑”。碑高1.85米，寬0.8米，為青石陰刻。學(xué)校正房前楹有謝覺哉題寫的“云山完小”4個(gè)大字，校周圍有王凌波、謝覺哉種植的“黃金樹”等樹木，山清水綠，風(fēng)景優(yōu)美。清朝政府廢除科舉制度后，云山書院改為高等小學(xué)堂，推民主革命前輩文經(jīng)酉擔(dān)任堂長。學(xué)堂附設(shè)半日制學(xué)習(xí)班，開業(yè)余教育之先河。1909年春以后，“寧鄉(xiāng)四髯”何叔衡、姜夢(mèng)周、謝覺哉、王凌波先后在這里任教或擔(dān)任校長，同時(shí)有寧鄉(xiāng)農(nóng)運(yùn)先輩梅冶成和進(jìn)步人士喻棣芳、歐陽健、王一凡、許抱凡、林若虛、夏元彬以及20世紀(jì)30年代末在寧鄉(xiāng)革命斗爭中英勇殉難的李甲農(nóng)等，在云山學(xué)校大力提倡科學(xué)與民主和勞動(dòng)教育，積極宣傳馬克思列寧主義，進(jìn)行反帝反封建的愛國主義教育。他們不僅使云山學(xué)校成為“五四”前后寧鄉(xiāng)新文化運(yùn)動(dòng)的中心，而且成了寧鄉(xiāng)人民的革命搖籃，為我國新民主主義的革命運(yùn)動(dòng)培養(yǎng)了大批人才，如甘泗淇、蕭述凡、謝南嶺、尹澍濤、喻東聲、胡輝、余喜文、林萼生、嚴(yán)岳喬等俊杰，在中國人民的革命斗爭中作出了巨大的貢獻(xiàn)。

1917年7月，毛澤東來寧鄉(xiāng)作農(nóng)村調(diào)查時(shí)。曾在云山住過；1921年，何叔衡參加“一大”回湘后，偕謝覺哉來寧鄉(xiāng)，在云山進(jìn)行革命講演；同年冬，王凌波在這里辦全縣教師講習(xí)所，傳播革命道理。新中國成立后，云山書院被列為省級(jí)文物保護(hù)單位。