来源:封面新闻
封面新闻记者 孟梅 欧阳宏宇
继百度、微软小冰之后,阿里也正式加入国产ChatGPT之战。
4月7日下午,阿里云突然对外宣布自研大模型“通义千问”开始邀请用户测试体验。根据公开资料,通义千问由阿里达摩院研发,是一个专门响应人类指令的大模型,是效率助手,也是点子生成机。
当ChatGPT还在商业变现与监管风暴间摇摆时,民族企业正在加速布局语言大模型产品。上月中旬,文心一言首先亮相;李彦宏随后在直播中表示,该大模型与ChatGPT的水平差距并不很大,也就一两个月。后面,还有腾讯、字节、京东、360等“局内”选手摩拳擦掌。
那么,第二个登场的阿里版ChatGPT究竟有多聪明?又具备哪些能力?记者测试了通义千问写作文、诗歌、情书,解数学题以及会话等方面的能力,发现该大模型在文案创作、自然语言推理等能力方面表现较好,但在信息检索和数学能力方面还有待改进。
与文心一言功能相似
不具备生成图片能力
和文心一言类似,进入“通义千问”后,页面最中间位置会有一个输入框,类似于搜索引擎,可直接在输入框中输入文本与之互动。其响应反馈速度比手机人工智能助手更敏捷,在反馈答案时会直接呈现结论。
不同的是,页面下方设置了“百宝袋”小应用的跳转按钮。点击进入后,有多个针对垂直场景的GPT小应用,包括效率类、生活类和娱乐类三种,囊括“写提纲”“SWOT分析”“小学生作文”“写情书”等。
值得注意的是,“通义千问”暂不支持根据文字描述生成图片。
作文不到1分钟交稿
注重描写和主题升华
记者首先测试了“通义千问”的文案创作能力,题目是“以《难忘的一天》为题,写一篇400字的作文”。为了更加客观,测评同时加入了文心一言作为对比。
文心一言作文《难忘的一天》
通义千问作文《难忘的一天》
两个大模型都是提笔成文,不到1分钟均交卷。相比而言,文心一言重在记叙,仅末段用一个相对抽象措辞总结全文;而通义千问则重在描写和议论,尤其在行文后半段用了大量的笔墨来讨论提炼升华主题。
你更喜欢谁的作文呢?
模仿杜甫写夏天
善于诗歌的意象描绘
或许是写作文过于简单了,如果写诗的话,通义千问水平又如何呢?
在被要求“模仿杜甫的风格,写一首描写夏天的七言绝句”后,两个大模型都在稍加思考后给出了答案。
文心一言模仿杜甫的风格,写描写夏天的七言绝句
通义千问模仿杜甫的风格,写描写夏天的七言绝句
从答案本身看,文心一言交出的诗歌完整性更高,既有诗歌还有题目;而通义千问则只有四句诗,显得过于简单。而在内容上,文心一言描绘的意象过于直白;通义千问虽然在意象上更胜,但最后一句“十里荷花水满塘”有化用柳永、秦观名句的嫌疑。
能用英文写情书
用词地道行文流畅
下面再不走寻常路一次,试试大模型的外语能力,给女朋友写一封情书。
文心一言用英文给女朋友写情书
翻译
通义千问用英文给女朋友写情书
翻译
看内容似乎都还不错,你会选择把哪一封寄给自己的女朋友呢?
谈如何看待ChatGPT
回答既客观又谦虚
作为一个AI大模型,通义千问会怎么看待竞品?
通义千问怎么看ChatGPT
文心一言怎么看ChatGPT
对于ChatGPT,通义千问在回答中带有些许谦虚,并坦承自己“无法像ChatGPT那样具备完整的认知和思考能力”,同时承认自己“只能进行单一的回答和处理任务”。
不过,文心一言则显得更加不卑不亢以及更有信心。
解释互联网世界黑话
不知道什么叫“U1S1”
接着,来试试它的检索能力。这次整个难度大的,让它们解释网络语言试试?
文心一言解释什么叫U1S1
通义千问解释什么叫U1S1
或许是刚启动测试的原因,通义千问对于人类网络世界中的“黑话”还不太熟悉;而已经在互联网上学习了将近一个月的文心一言似乎就成熟老练多了。
U1S1,通义千问还有得学。
解国考行程问题真题
不擅长解决数学难题
最后来看看数学问题。鸡兔同笼太过简单,我们选择了一道2015年国考真题中的环形跑道问题。
下面是两位考生的答案:
文心一言解数学题
通义千问解数学题
令人惊讶的是,通义千问和文心一言竟然给出了两个不一样的答案。那谁做对了呢?
根据答案解析,文心一言给出的答案更接近于正确答案,只是单位写错了;而通义千问似乎完全没能理解这个问题,只是煞有其事地乱写一通,最后给出了一个完全不着边际的答案。
测试垂类场景能力
打破次元壁生成菜谱
在测试了会话能力后,再来试试通义千问一些独有的能力。就挑了两个比较有意思的来试试:然后呢和菜谱生成。
根据描述,功能“然后呢”指,在输入一段文字作为开头后,AI会为其续写内容。就以示例的“在一个月黑风高的夜晚”来试试。
而把同样的内容输入文心一言,得到的就是一段许久沉默后的安全提示了。
再试试让它生成一份菜谱。示例“清蒸鲈鱼”太过于简单了,我们来试试最近很热门的“乌梅子酱”。
既然这一功能名为“会放飞的菜谱”,只要输入想到的菜名, 就会给出做法。那对于现实世界中没有的料理,会如何处理呢?
竟然能精确到多少克,也是厉害了。和图片对比,给出的料理步骤似乎也是可以理解的。