奇石的赏玩，至少在春秋战国时期已初见端倪，如形成于当时的《山海经》、《尚书·禹贡》等地理著作，就多次提到各地所产的种种奇石，如《禹贡》中的“泗滨浮磬”，后世多以为是指灵璧石。不过由于当时玩玉之风大盛，奇石还谈不上藏玩之道。如据《周礼》等载，孔子的弟子子贡有一次质疑其师：“敢问君子贵玉而贱珉者何也，为玉之寡而珉多欤，”孔
子则坦然答道：“非为珉之多故贱之也，玉之寡故贵之也，夫昔者君子比德于玉焉：”并由此引出了玉有五德(一说十一德)的著名论点。这里提到的珉，《说文解字》释作“石之美者”，实际上也属于奇石一类，如美质石中的寿山石等，就曾借用过“珉”的称谓。

从奇石的收藏史来说，魏晋时期可以说是滥觞期。当时文人士大夫为苟全性命于乱世，形成一种清淡玄理、寄情山水的所谓“魏晋风度”。在亲近大自然的时候，奇石很自然地成为他们目悦心赏之物，成为一种精神寄托，搜玩奇(形)石之风就是肇端于此时。如东晋诗人陶渊明所居的栗里有一块奇石，他对之十分爱赏，酒醉以后常常踞眠其上，称之为“醒石”，这大概是最早的赏石记录了。南朝时，建康的同泰寺(即今南京的鸡鸣寺)前陈供有四块高大奇丑的奇石，竟被赐封为三晶，故俗称三品石。名士顾辟疆在苑囿中搜罗了许多怪石奇峰，成为一时之胜地。梁武帝的宫苑华林苑中，陈供有著名奇石“奇礓石”，“长丈六尺”，又称到公石，这是他与臣下到溉博奕之戏后得来的战利品。……不过，尽管当时搜玩奇石已开始形成风气，但具体所搜玩的石种却多失之记载，这也反映了其时奇石搜玩尚处于初级阶段。

唐代是奇石收藏的兴盛期。许多重要的石种都是发掘于此时，士大夫们纷纷加入了奇石搜玩者的行列，著名的砚石多开发于此时。特别是各地名山所产的奇形石，更成为主要的搜藏对象，大都作为立峰供置于庭园中。如诗人白居易在卸任杭州刺史时，别无长物，只带走了当地天竺山所产的天竺石(一种类似太湖石的石灰岩，今置于北京中山公园内的名石“青莲朵”即此石)，他曾作诗记其事：“三年为刺史，饮冰复食檗。唯向天竺山，取得两片石。此抵有千金，无乃伤清白。”奇石还跃而登上了诗歌文艺殿堂，诗人墨客们留下了许多题咏之作，其中咏赞太湖石的诗作最为多见，白居易、刘禹锡、牛僧孺、皮日休、陆龟蒙等著名诗人，都有咏赞太湖石之作。陆龟蒙《咏太湖石》中称道“搓牙真不材，反作天下彦”，自叹“无力置池塘，临风只流眄”。身居宰相要职的牛僧孺，一次得到苏州刺史所赠太湖石峰，块块“奇状绝伦”，因此题写了一首40句的五言长诗寄赠同好刘禹锡和白居易，激赏之情，溢于言表：“池塘初展见，金玉自凡轻。侧眩魂犹悚，周观意渐平。似逢三益友，如对十年兄。旺兴添魔力，消烦破宿醒。”云云。刘、白两人分别奉和了一首长诗，白居易盛赞此石“在世为尤物，如人负逸才。……对称吟诗句，看宜把酒杯”，“共嗟无此分，虚管太湖来”(刘、白都曾任苏州刺史)。他另外在《太湖石记》一文中，也曾提到“石有族聚，太湖为甲，罗浮、天竺之徒次焉。……撮要而言，则三山五岳，百洞千壑，视缕簇缩尽在其中，百仞一拳，千里一瞬，坐而得之”。

宋代可谓搜藏奇石的全盛期。奇石在当时已成为普遍的审美对象，从“天下一人”(宋徽宗)到文人学士，无一不嗜之如癖，趋之若鹜。苏东坡在《岁寒堂十二石记》中曾提到：“近好事能致石者多矣。”文士中涌现出一批藏石家，如米芾、苏轼、叶梦得、文同、欧阳修、黄庭坚、范成大等，其中米芾拜石为兄，呼为“石丈”(丈者，老人也)的举止少十梦得与石为伍，自号石林山人、石林居士的善行，堪称当时爱石之风的生动写照。宋徽宗劳民伤财的“花石纲”(《宣和石谱》绘录了艮岳65座石峰的姿态)，也从侧面反映了当时搜玩奇石之盛况。宋代奇石被开发搜藏的广度和深度已经达到空前的程度，这集中体现于南宋杜绾所着《云林石谱》一书，该书共分上中下三卷，记载了各地所产奇石达116种之多(有部分品种重复)，“各具出产之地，采取之法，详其形状、色泽而第其高下”，是奇石有谱着录的开山之作，其中许多论述为后世所援引，收录以奇形石为主，包括砚石、卵石等，几乎囊括了后世所藏玩的各种主要奇石(有的现在已不复可见)。另外还值得注意的是南宋赵希鹊的《洞天清禄集》一书，他在该书中罗列了10种文人雅士闲居雅赏的文房器物，计有古琴、古砚、古钟鼎彝器、怪石、研屏、笔格、水滴、古翰墨真迹、古今石刻、古画等，其中怪石计有灵壁石、英石、太湖石等多种，“怪石小而起峰，多有岩岫耸秀、嵌嵌之状，可登几案观玩，亦奇物也”。这说明当时奇石已跻身于文房雅玩之列。如果说唐代士大夫侧重的是庭园中型峰石的搜藏的话，那幺宋代开始注重于文房小型雅石(供石)的藏玩，这很适合那些赀财有限的文人雅士的欲求，故而后来逐渐成为奇石收藏的主流。

明清二代，时值封建社会末世。“末世好古董”(郑板桥《古董》诗)，古玩收藏赏鉴之风大盛，被视为“避俗逃名，顺时安处”的养生之道(明·高濂《遵生八笺》)。帝王、仕绅、商贾、寒士无不卷入，“雅俗之分，在于古玩之有无”(明．吴其贞《书画记》)。于是乎，附弄风雅者有之，聚财积富者有之，所谓“古之好古者聚道，今之好古者聚财”(明·董其昌《骨董十三说》)。奇石在古玩市场上已稳居一席之地，并更多地带上一层商业色彩，奇石收藏还出现了踵事增华、竭泽而渔的现象。此时，印石如青田石、寿山石、昌化鸡血石等的相继开采，可视为此时期奇石搜藏的一大收获。在一般文人士大夫的庭园斋堂中，奇石已成了不可或缺的点缀供设，成了雅俗与否的一个标志。即使“贫士之家，有好石之心，而无其力者，不必定作假山，一卷特立，安置有情，时时坐卧其旁，即可慰泉石膏盲之癖。……王子猷劝人种竹，予复劝人立石，有此君不可无此丈。同一不急之务，而好为是谆谆者，以人之一生，他病可有，俗不可有，得此二物，便可当医”(清·李渔《闲情偶寄》卷9)。随着搜玩奇石的深入，这段时期各种奇石的谱录也层出不穷，其中最著名的便是成书于明代万历年间林有麟着的《素园石谱》(4卷)一书，该书图文并茂，搜采自南唐以来见诸史籍图谱的百数种名石奇峰，保留了许多有价值的诗文，读者从中可以——窥宋代米芾的“宝晋斋砚山”、“苍雪堂砚山”，苏东坡的“雪浪石”、“仇池石”，宋徽宗艮岳“宣和65石’’(图2、图3)乃至“绮石飞即雨花石)等奇石的风采。当时，对于奇石优劣之品评论述也屡见不鲜，如曹昭的《格古要论》、文震亨的《长物志》、张应文的《清秘藏》、计成的《园冶》等，均有各种奇石的记载，阐幽发微，颇多品赏心得。如文震亨提出的“石以灵璧为上，英石次之”，计成提到的选石“取巧不但玲珑，只宜单点”，李渔在《闲情偶寄》中指出的石峰“全要顶宽麓窄”、…言山石之美者，俱在透、漏、瘦三字，……”等观点，均为后世所认同。