申无疆，字伸锡，在扬州生活了许多年。有一天，他在集市上遇到一位海商，两人坐下来交谈。申无疆听海商讲述海上贸易获利丰厚，十分羡慕，于是拿出几千两银子，交给自已的儿子和侄子，让他们和海商合伙做生意。
申无疆的儿子名叫申翊，身材高大，皮肤白皙，还很擅长唱歌，年仅二十三、四岁，船上的人都很喜欢他。等商船驶入大洋，船只在波涛中就像一片树叶般渺小。申翊年纪轻轻，从未经历过如此汹涌的波涛，被吓得生了病。他靠在枕头上呻吟，恍惚间进入了梦乡。
睡梦中，申翊听到有人说：“落花岛中花倒落。” 申翊向来不擅长诗文，醒来后就把这句话告诉了同伴。虽然同行的人都经常在海上航行，却没人知道落花岛在哪里。有个客人很懂诗词，笑着说：“为什么不接‘垂柳堤畔柳低垂’呢？这句子虽然好，但还是能找到对句的。” 众人和申翊都称赞妙极，申翊便默默把这两句记在了心里。
没过多久，申翊的病情越发严重，还没等船靠岸，他就死在了船上。他的堂兄悲痛万分，匆匆将他入殓，带着灵柩继续前行。然而，申翊却不知道自已已经死去，只觉得身体变得轻飘飘的，没有任何束缚。他心想，要效仿列子，乘风遨游。海面上虽然波涛汹涌，但他却丝毫没有被打湿，不禁心中大喜。
申翊还记得落花岛的名字，心想那地方一定非同寻常，顿时就想去游览一番。转眼间，他就来到一座山，这座山形状像倒扣的盂钵，悬在波涛之上，颜色如同蜀地的织锦，五彩斑斓，而且香气浓郁，芬芳弥漫数百里，申翊满心喜爱。他奋力登上山，转眼间就从水面踏上了陆地。
申翊向西走了大约一里路，看到一个山口，便走了进去。里面是一条平坦宽阔的大道，再也没有险峻的岩石。山间小径上铺满了落花，大约有一寸厚，几乎看不到别的空地。他踏着落花往前走，感觉脚下柔软得像茵褥，香气更加扑鼻，整个人都精神焕发。
环顾四周，都是合抱粗的大树，花朵就生长在树上。仔细观赏，各种颜色应有尽有，浓淡相互映衬，香气如同庾岭的梅花，却更加馥郁。还有些花朵挂在树梢，低低的枝丫仿佛就要坠落，环绕树干的花朵像是在飞舞，也有许多含苞待放的，看样子这里一年四季都有花。
申翊兴高采烈地继续前行，大约走了几百步，花朵越发繁盛，落下的花瓣也更厚了。而且四处张望都看不到房屋，就连山峦的层峦叠嶂，也在花丛中若隐若现，不轻易展露全貌。申翊来到这里，心情格外舒畅，在一棵梅花树下稍作休息，忍不住放声高歌，花朵纷纷像细雨般簌簌落下。
不一会儿，他听到一个娇柔的声音呵斥道：“哪里来的莽撞男子，这里是仙人居住的地方，岂是你寻欢作乐的地方？” 申翊急忙看去，只见一个美丽的女子，全身都点缀着落花，宛如穿着锦绣华服，手里提着一个小竹篮，里面也装着落花，正缓缓从树后走出来。
申翊起身迎上去，向女子行礼，说明了自已的来历。女子微微一笑，说：“你不过是个庸俗的商人，有什么福气来到这里？不过，这也并非毫无缘由。我有一句话，很久都没人能对出下联，如果你能对出来，就可以留在这里过夜，而且还有好地方让你安身。否则，你就赶紧离开，不要在这里玷污仙境。”
申翊贪恋这美丽的地方，又爱慕女子的美貌，顿时忘记了自已不擅长对对联，毅然答应一试。女子便朗诵了一句，正是申翊梦中听到的那句。申翊喜出望外，立刻用那个客人所对的句子回应，女子称赞对得好。过了一会儿，女子感慨地说：“这份才华大概是上天赐予的，我不能对你无动于衷了。” 她径直走上前，笑着拉住申翊的衣袖说：“来吧，跟我回家，花丛茂密的地方就是我家。” 申翊满心欢喜地跟着她。
到了地方，只见四周环绕着篱笆，远远望去，也是绚丽多彩，原来都是用花瓣砌成的。不一会儿，他们找到了门，那是两棵巨大的树，树枝在上方交错，俨然像一座高大的门。女子请申翊进去，里面有几间屋子，桌椅床榻都是用彩石制成，上面铺满了花瓣。抬头往上看，看不到天空和太阳，原来是茂密的树干为他们遮阴，花叶层层环绕，仿佛是天造地设的一般。
女子没有请申翊坐下，就开始准备食物，说：“你饿了吧，饿着肚子可没法好好聊天。” 于是，她把竹篮里的东西都倒出来，又是清洗又是烹煮。等到上菜时，除了花，没有别的食物。申翊心里有些疑虑，不敢吃。女子笑着说：“这是仙人吃的东西，吃了不会有坏处的。” 申翊尝了尝，只觉得香甜肥美，相比之下，人间的美食简直如同尘土。女子又拿出百花酿，味道更加芬芳清冽，喝下去就像品尝到了醍醐，让人神清气爽，飘飘欲仙。
申翊本就不知道自已已经变成了鬼，于是暗自庆幸自已似乎马上就能长生不老了。吃完饭后，他们才开始亲切地交谈，渐渐有了一些玩笑之语。女子情难自抑，轻轻一抖衣服，身上的花朵纷纷落下，露出洁白的肌肤，光彩照人。于是，她和申翊在石榻上欢好，两人情意绵绵，感情深厚。
不久，女子察觉到申翊不是活人，惊讶地说：“你怎么只有形体却没有实质呢？你最好早点告诉我，别让我自已犯错。” 申翊也暗自思量：“我怎么会来到这里？而且大海怎么能像平地一样行走呢？” 想到这里，他不禁悲痛地捶打着胸口。女子制止他说：“别难过。鬼能成为仙人，总比人变成鬼要好，况且我有办法，你还担心什么呢？”
说完，女子拿出一个瓷瓶，里面装着一斗左右的清泉，浇遍申翊全身，说：“这是百花的精华，是我清晨收集的，实际上就是天上的仙浆甘露。人用它沐浴可以成仙，鬼用它沐浴也能获得实体。再加上食用这些花的精华，那么成为鬼仙也不是难事。只是我几百年的积蓄，一下子都为你耗费了。”
说话间，申翊感觉被泉水浇过的地方，肌骨变得坚实，不再像之前那样虚无缥缈，心中的疑虑这才消除。他看看自已的衣服，本是不存在的，女子用花瓣为他制成衣服，光彩夺目。两人相对，就像身披锦绣羽毛的鸳鸯。
白天，女子和申翊一起出去采花，共同享用；夜晚，他们回到住处，在花瓣上同眠。他们穿的衣服，睡觉时轻轻一拂就消失了，不需要费力脱卸；醒来后，在树林间慢慢行走，转眼间就能穿上。这个地方没有寒暑之分，也没有昼夜之别，以花开为早晨，以花谢为夜晚。他们的衣食都来源于花，休息也在花丛中，就算是方丈、蓬莱这样的仙境，也比不上这里。
几年后，申翊突然对女子说：“多亏了你，我才得以重生，本应与你长相厮守。但我的父母年老，弟弟还年少，我想回去探望他们，你能答应我吗？” 女子神情严肃地回答：“这是你的孝心，我怎么敢不帮你达成心愿呢？只是你以鬼的身份离开，再以人的身份回去，你的坟墓上的树都已经长得很粗了，谁会相信你呢？” 申翊说：“我只是想回去试试，也不会久留。” 女子便同意他离开，还用花叶为申翊制作衣服，不一会儿就做成了华丽的服饰。
临别时，女子送给他一个小瓯，叮嘱道：“饿了就喝这个，千万不要吃人间的烟火食物，吃了就会神气日渐衰弱，无法生存。喝完了就赶紧回来，别再停留。” 申翊答应一个月后就回来，然后就出发了。
到了海上，申翊依然像在平地上行走一样，不需要借助船只，直接抵达了越省。等他回到扬州，申无疆已经年老，弟弟们也都长大。申翊突然出现，大家都以为他是鬼，惊恐地躲避他。只有申无疆抱住他哭泣道：“是我害了你，你回来是怨恨我吗？” 申翊这才详细讲述了自已的经历，众人都十分惊愕。
郡里有个拄拐杖的老人，年轻时曾出海航行，听说了落花岛的名字，恍然大悟地说：“确实有这么个地方。岛在东海的偏僻之处，人很少能到达。我曾经到过那里，听说那是神仙居住的地方，没有道路可以进入，到现在我还依稀记得那里的风景。” 众人听了，心中的疑惑才稍微减轻了一些。
申无疆在扬州还是客居，申翊在他身边侍奉了几天，不喝水也不吃饭。十天后，申翊突然消失不见了。
外史氏说：百花的精华，人食用了可以延年益寿，没想到鬼服用了竟然能够成仙。申翊借助机缘，游历了这如香国般的地方，得到了佳人相伴，还得以进入长寿的境界。为什么桃花源里的人不厌恶鬼，反而羞于与人为伴呢？这实在是我所不能理解的。
随园老人说：世上真有这样的乐境，我还要这肉身做什么呢？描写落花岛的景色，让我时时心驰神往。
