除了用人工智能做作业，还有人问人工智能ChatGPT如何制毒。台湾一名从事装潢工作的承包商竟从网络上收集相关信息，再问ChatGPT如何制毒，最后被警方逮捕。
台湾TVBS新闻台报道，嫌犯没有任何化学背景，仅通过使用付费版ChatGPT加上网络搜集相关资讯，自学怎么用赤磷、甲醛等化学物品，提炼安非他命的先驱原料。
警方在嫌犯的住所查获制作毒品的原料甲基麻黄碱（Methylephedrine），以及制造安非他命的蒸馏器、干燥锅、加热器等，还有感冒药、赤磷、甲乙醇制造原料等。
由于制毒过程可能会出现有毒气体，嫌犯还特地买了防毒面具，并安装抽风设备。
刑事警察局鉴定证实，嫌犯成功利用甲基麻黄碱，以“红磷制毒法”制造第二级毒品安非他命。
警方扩大追查，发现另一名嫌犯从中协助，两人都依违法被人移送花莲地方检察署侦办。
实际上，如果询问ChatGPT，它是有着非常严格的使用政策与安全限制，会明确拒绝回答提供制毒、制爆、制武的任何教学内容。
ChatGPT也不会回答针对协助规避法律或执行违法行为，以及散布危险、暴力或具伤害性的信息的问题，并会提醒使用者行为违法或危险。