もともとは明の時代の許瓯香(許友)の墨斎の旧跡であった。黄任は許友の外孫であり、少年時代にここで勉強したことがある。清の時代の雍正九年(1731年)に政務をやめて故郷に戻って隠居し始め、続けてここに住んで修繕工事を行った。旧居は元々の敷地面積が815平米で、庭にたくさんの蘭蕙(香草の名)を植えており、花と竹が生い茂っていることで、黄任はここを「香草斎」と名づけた。また、黄任が硯を好み、十本の古い硯を買ってここにしまっておいたことがあることから、「十硯斎」とも名づけられている。
1961年に福州市人民政府に看板付きの文物保護単位と指定された。