林文威

← 全部作品

比赛与黑客松

Pip 桌面小章鱼

住在桌面一角的小章鱼,能和你说话,还能通过普通摄像头看到你的表情、眨眼、心跳和呼吸,跟着做出反应。

时间
2026.11
场合
Dev.to Presage SmartSpectra SDK 挑战
我做的
想法和试用,代码交给 Claude Code
技术
Electron · SmartSpectra SDK · DeepSeek · SenseVoice

Pip 是一只住在桌面小水池里的小章鱼。你可以和它说话,它会回答;它还会看着你:你笑,它冒出爱心;你皱眉,它也皱眉;你点头,它跟着点头;你眨眼,它也眨一下。水池里的水跟着你的呼吸起伏,它身上的光跟着你的心跳一闪一闪。

和它聊天时,它不只听到你说了什么,也知道你说话时的样子。有一次我笑着说“不”,它回我:“Funny thing is, you’re smiling a little while you say that.”

怎么来的

11 月 11 日上午在 Dev.to 上看到这个挑战:用 Presage 的 SmartSpectra SDK,做一个对摄像头里的人做出反应的应用。我最先想到的就是桌面宠物:你盯着它的时候,它给你一点反应。

中间改了好几版。先做了陪你工作的版本,提醒你在累之前就休息,冥想时变成一片跟着你心跳和呼吸涨落的潮汐;又改成几分钟的表情小游戏。试下来,最好玩的还是对着它做表情、和它说话,看它怎么回应。于是定成现在这样:会说话的桌面宠物,加上一双能看人的眼睛。

为什么只做这一块

Pip 不能读你正在看的网页,也不能帮你操作电脑。这样的 Agent 别人已经做了,我没必要再搭一整套,搭了自己也不会用。我只做了还没见过的那一块:让桌面上的 AI 能读懂面前的人。

小章鱼也只是一种样子,换成小鱼、小猫、小机器人都可以。它们都能多出这几种感官,看到人的表情、心跳、呼吸,再用自己的方式回应。像 Codex 已经有桌面宠物,会跟着 Agent 干活的进度做反应;如果再加上这双眼睛,它就能在你对着代码皱眉的时候也注意到你。

学到的

以前我没想过,普通摄像头就能看出一个人的心跳。原理是:心脏每跳一次,脸上的血色会跟着变一点点,肉眼看不出来,摄像头拍得到;呼吸则看胸口的起伏。这种技术叫远程光电容积描记(rPPG),已经有十几年的研究。所以它要求人坐着别乱动、光线够亮,测呼吸时还得让肩膀和胸口进画面。厂商也写明,这些数字只作一般参考,不能拿来诊断。

做法

从想点子、试用、改版,到录好演示、写完文章,一个上午做完。代码全部由 Claude Code 写,我负责出想法、试着玩、说哪里不对。用我当时的话说:“全程 AI 操作,我自己都没怎么动,动动嘴就行了,完全没看代码。”做一个黑客松项目只要几个小时,比起写代码,更要紧的是你有什么想法。