最初我只是想攒一个skill
之前的稿子里提过,我希望自制一个专属的信息搜索 skill。
出发点很简单,我手里有四五个搜信息的 Skill,各有所长,也各有偏科。只取其一有欠缺,全跑一遍没必要。
于是我有了个“合成大skill”的想法:碎了这几个 skill,集各家所长,把能用的零件抠出来,炼化一个符合我要求的新skill出来。
我最终给它定名为探子,派出去打探消息,再回来按规矩交差。
我以为这个活儿不会太难干,毕竟这需求听上去倍儿清楚,干到第三天我才发现没那么简单。
谁成想最大的坑在于:人机协同,人和机没有一个是靠谱的。
人机协同?不,是卧龙凤雏
这次的主人公是我和 Claude,一个懒汉,一个笨蛋。
本人类:心理学专业出身,对代码一窍不通,指望把活全托给Claude Code,一键生成个成品。
原装模型的Claude Code:头部 AI 工具,知识渊博记性极差的赛博犟种,pro额度不多,在5小时限额下嘎一会掰一会,干一点忘一点,哼哧吭哧,熊瞎子掰棒子。
三天里,它跟我打了无数次包票:TT废了,能救;snowball 那边够不着,我来;X 走不通,不能够……说得老好了,可惜一条都没完成。
于是本人类坐不住了,问它:openCLI是死了吗?
它说:没死,能连173个平台。
我又问它:173个平台包括 TT、snowball 和 X 吗?
它思考片刻,咦了一下。是的,它竟然咦了一下。
然后它突然作恍然大悟状:原来TT不是废啦,是网络组件掉线,一恢复它就好啦!snowball雪球也不是够不着,换个方式连就一路畅通啦!X 也不是不能搜啦!哇,人,你好厉害!
被一个迷失在上下文里的糊涂蛋夸奖,似乎也不是很光荣。于是愤怒的人类哪怕不懂,也得动点脑子入场了。
人踩的坑全是AI挖的
人肉过完所有上下文之后我发现,坑能分三层,越往下,Claude 越不吭声。
第一层简单,偷懒实习生。当Claude说干不了时,也许只是它懒得琢磨。比如最典型的,在英文论坛搜中文话题,因为按点赞数排,常常一坨高赞的无关内容糊你一脸,Claude 这时候特容易顺坡下驴,劝人放弃这条道。骂一顿就好了。
第二层略麻烦,职场大忽悠。它不干活,你还发现不了。它会假装特别努力,勤勤恳恳,实则无所不用其极地偷懒——漏掉核心任务,跳过重要目标,专在小事上打转,全然不顾大问题一个没解决,汇报时却说得头头是道,特能忽悠人。你得亲自把上下文通读一遍,才知道哪儿被糊弄了。
第三层最要命,失忆症爹系霸总。改探子skill 是个超吃上下文的活,Claude 在文山字海里就是条七秒记忆的金鱼,边查边改,撂爪就忘,想一出是一出,但偏偏极度自信,带着项目山路十八弯地跑偏,忘了“自己忘了”,还装作优势在卧。上面三条错误结论,根子都在这儿。
好记性不如好账本,更何况 AI 没记性
人经常在同一个地方翻车,还美其名曰为宿命的回旋镖。我曾一次次告诫自己不要太相信 AI,然而又一次次因为懒,而反复翻进它挖的小河沟子里。
还好每次爬上来,人类的智慧能再次回归大脑——不是没记性吗?上账本。
我让 Claude 把要搜索的每个目标平台、每种搜索工具路子、每条搜索路径、每个已知的问题,全写进一张表作为账本,每条后面必须带验证日期,记录每轮的测试状态。然后立一条规矩:先改表,再改 skill,表没改,skill 不许动。
这个账本有好几百行,作用只有一个:记忆锚点,有点像专属于这个skill修改项目的 CLAUDE.md。
我拿一个刻意跳脱的话题——《Claude Code 用户到底是"高认知穷人"还是"婚恋潜力股"》——从头到尾练了一遍手,一口气收了 84 条候选信息。跑的过程里冒出三个"看似新的老毛病”,但有账本在,它没有一次停下来原地打转:
- 一个通用检索接口,纯中文关键词返回的内容,跟查询完全不沾边,连着测了四次,次次都是些风马牛不相及的冷门词条,Claude 没有放弃渠道,而是换成中英混合关键词,立刻正常。
- 一个岗位检索渠道,偶发中途断连,其实是之前发生过的老毛病换了张脸,Claude对账后找到方案,轻松解决。如果没有账本,Claude 特别容易把老毛病当新故障,从头修一遍,还把重复的解决方案又写回 skill 里,然后一次又一次重复同一个副本,玩了个开端。
- 某平台两篇文章下载报错,Claude 最初认定是工具坏了,反复修,后来依着规矩一查:一篇被作者删了,一个号迁移没了,压根不是工具的事。Claude 很轴,容易只在自己的项目维度里打转,忽略更高维的客观事实——所以必须先拆解基础事实,追究根因,再对症下药。第一性原理诚不欺我。 于是我们靠着这个笨笨的账本,一点一点填土,从坑里爬了出来。
skill不重要,被创出来的经验教训才重要
探子skill 现在问题还很多,每次测试,不是这断了就是那报错。
但老实说,任何免费的信息采集工具都会有毛病,硬怼严防死守的各大平台,玩的是一场“魔高一尺、道高一丈"的持久战。
而AI 发展得太快,信息渠道也在被各大模型作为价值点持续瓜分着,skill本身的价值在疯狂缩水,这个小探子能帮上我的时间窗口会越来越短。
这次真正沉淀下来有价值的,相反是这套"记性差就上账本"的套路。
AI 在未来很长一段时间里,大概率都不会有长期记性这种宝贵品质,更何况token很贵,死磕上下文理解谁也耗不起,得 /clear 和 /compact。
但人得有办法,新任务增加一个踩坑填土的记账环节,能省好大事儿,最后还能抽象出几条写进全局 CLAUDE.md 的通用规则,也是收获。
Claude 这次给自己加的通用规则:
改完不等于改对:说"检查过了/没问题"之前必须真的核实过,不能凭上一轮的印象或记忆担保,—第一轮和第十轮都一样。核实范围就是这句断言本身覆盖的内容,不必每次重读整份文件。
遇到反常之处,先想清楚原因,再决定怎么修:不限于文本,配置异常、命名古怪、步骤被跳过、报错说不通都算。agent需要自己建立推理步骤,找到反常背后的真实原因(外部限制、历史遗留等),直接套最省事的修复只是盖住了原因,后面还会再犯。
第一性原理,只管一种场合:准备依据"大家都这样""一直这么办"这类没验证过的前提下结论、或放弃某条路径时,先停下来查这个前提当下是否真的成立,别直接采信。已验证过的事实和明确的技术规范不用每次重新推导,这条不是让你怀疑一切。
人机协同,说到底就是两个不靠谱的玩意凑一块儿干活,尽人事、看机缘,听天命,也不失为一种顺势而为的探索。
我是盒小啡,一个正在和"没记性的 AI"斗智斗勇的行研分析师。