科研快讯丨软件工程智能体最新综述来了!《Agents in SE: Survey, Landscape, and Vision》

本篇综述的作者包括必赢3003no1线路检测中心的郑子彬教授、王焱林助理教授、陈嘉弛助理教授、研究生黄炎贤、钟宛君、华为云的王千祥、马宇驰老师、中科院杨敏副研究员、厦门大学李辉副教授、以及西安交通大学博士研究生石恩升。

近年来,大语言模型(LLM)取得了令人瞩目的成就,并被广泛应用于各种下游任务,尤其是在软件工程(SE)领域的各个任务中。许多将大模型与软工领域相结合的研究都显式或隐式地涉及到了智能体的概念。基于大模型的智能体能够感知外界环境信息并将其转化成大模型能够理解和处理的模式,借助其记忆、推理、检索、学习、交互等能力,大模型能够在各类下游任务中取得更好的表现。目前还缺乏相关的工作对软工领域中基于大模型的智能体发展现状进行梳理。

必赢3003no1线路检测中心联合华为云、中科院、厦门大学以及西安交通大学共同对115篇相关的文献进行梳理,构造了软工领域中基于大模型的智能体框架。该综述深入探讨了软件工程与智能体技术融合所面临的主要挑战,同时总结了未来研究中潜在的机遇。

论文地址:

https://arxiv.org/abs/2409.09030

论文列表:

https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE

 

01软工领域中基于大语言模型的智能体框架

Figure 2所示,基于大模型的智能体包含三个关键模块:感知、记忆和动作。其中,感知模块接收各种模态的外部环境信息,并将其转换为大模型可以理解和处理的输入形式。动作模块包括内部动作和外部动作,分别负责根据大模型的输入做出推理决策和根据与外部环境交互获得的反馈优化决策。记忆模块包括语义记忆、情景记忆和程序记忆,可以提供额外的有用信息来帮助大模型做出推理决策。同时,动作模块还可以通过学习动作来更新记忆模块中的不同记忆,为推理和检索动作提供更有效的记忆信息。此外,多智能体协作由多个负责部分任务的单个智能体组成,通过协作合作共同完成同一复杂任务。

感知模块

感知模块连接基于大模型的智能体与外部环境,是处理外部输入的核心模块。它可以处理文本、视觉、听觉等不同模态的输入,并将其转换为基于大模型的智能体能够理解和处理的嵌入向量格式,为基于大模型的智能体的推理和决策行为奠定基础。与自然语言处理(NLP)领域中的文本输入格式不同,考虑到代码的特点,软工中的文本输入格式除了基于代码序列的输入以外,还有如抽象语法树(AST)、控制流图(CFG)等基于树或图结构以及混合类型的输入。

 

记忆模块

记忆模块包括语义记忆、情景记忆和程序记忆,它们可以提供额外的有用信息来帮助大模型进行推理决策。

1)语义记忆(Semantic Memory

语义记忆指基于大模型的智能体的常识或公认的世界知识等,通常存储在外部知识检索库中。外部知识检索库中可存储文档、库、API等其他类型的信息。其中,文档和API是外部知识库中最常见的信息类型。通过增加相关的文档和API知识,智能体能够更好地理解问题和做出推理决策。

2)情景记忆(Episodic Memory

情景记忆指的是与当前问题相关的内容以及来自先前决策过程的经验信息等。与当前问题相关的内容(例如在搜索数据库中找到的相关信息、上下文学习(ICL)技术提供的样本等)可以为基于大模型的智能体推理提供额外的知识来更好地理解问题,先前决策过程的经验信息则能够为基于大模型的智能体进行推理决策提供参考。因此,许多工作将此类信息引入到基于大模型的智能体的推理过程中,提高推理效率和质量。

3)程序记忆(Procedural Memory

程序记忆包括隐性知识和显性知识。其中,隐性知识存储在大模型参数中。现有的工作通常通过大量数据训练模型,得到具有丰富隐性知识的预训练大模型来完成各种下游任务显性知识;或者,用高质量的数据预料对已有的预训练大模型进行微调得到表现更好的微调模型。显性知识主要存储在预先定义的智能体代码(Agent code)中,使得智能体能够自动运行,进行独立推理和决策。智能体代码指的是驱动智能体运行、指导其行为和决策的程序或算法。

 

动作模块

1)内部动作

内部动作包括推理、检索和学习动作。其中,推理动作负责根据基于大模型的智能体的输入进行问题分析、推理和决策。检索动作可以从知识库中检索相关信息,辅助推理动作做出正确决策。学习动作则是通过学习和更新语义、程序和情景记忆,不断学习和更新知识,从而提高推理和决策的质量和效率。

推理动作:严谨的推理过程是基于大模型的智能体完成任务的关键,而思维链(CoT)是最主流的有效推理方式。借助思维链,大模型可以深入理解问题,分解复杂任务,并生成高质量的答案。如Figure 3所示,现有工作探索了不同形式的思维链,包括朴素思维链/计划)(Native CoT/Plan)、结构化的思维链(SCoT)、头脑风暴(Brainstorming)、树形思维链(Tree CoT)等。具体地,朴素思维链/计划是在提示(prompt)中让大模型逐步思考,生成的回答中给出分析问题的具体过程并逐步解决问题(如Figure 3中(a)所示)。考虑到代码的特性,一些工作提出了结构化的推理模式来引入代码的结构信息,得到结构化的思维链。结构化的思维链以伪代码的形式呈现推理过程,涉及循环、分支等逻辑结构(如Figure 3中的(b)所示)。在提示中让智能体进行头脑风暴,利用算法、数据结构以及数学等知识给出解决问题的关键词,例如Figure 3中(c)给出了解决问题可行的算法作为头脑风暴的结果。树形的思维链动态地探索和更新思维链,树中的节点涉及已完成、新建、新推断、待定等多种状态(如Figure 3中(d)所示)。

检索动作:检索动作可以从知识库中检索相关信息,以辅助推理动作做出正确的决策。检索所用的输入和检索得到的输出内容有不同的类型。如Table 1所示,输入和输出可以是文本、代码,也可以是同时包含文本和代码的混合信息。现有的检索方法可分为基于稀疏的检索(sparse-based)、基于密集的检索(dense-based)和其他方法。Figure 4分别展示了基于稀疏的检索和基于密集的检索流程。基于密集的检索方法将输入转换为高维向量,然后比较语义相似度以选择具有最高相似度的k个样本;而基于稀疏的检索方法计算BM25TF-IDF等指标来评估样本之间的文本相似度。此外,还有计算自然语言文本之间的编辑距离或代码片段的AST等其他的检索方法。

 

基于密集和基于稀疏的检索方法是两种最主流的检索方法。其中,密集型检索技术通常比稀疏型检索方法具有更好的性能。但稀疏型检索可以在达到与密集型检索相当的性能水平的基础上获得更高的检索效率。因此,更多的工作选择采用稀疏型检索方法。

 

学习动作:学习动作是通过学习和更新语义和程序记忆,不断地学习和更新知识,从而提高推理和决策的质量和效率。(1)用知识更新语义记忆。语义记忆主要存在于存储基本世界知识的知识库中,可以通过利用已识别的代码知识更新知识库或构建新的知识库来更新语义记忆。(2)更新隐性知识。由于隐性知识存储在大模型参数中,因此可以通过微调模型来更新大模型参数,从而更新隐性知识。(3)更新智能体代码。基于大模型的智能体将相应的提示构建为智能体代码,以规范智能体如何感知环境、推理和决策以及执行动作。许多工作使用指令调优技术将大模型的输出与输入指令对齐。

 

2)外部动作

与开发者或其他智能体交互:智能体可以与开发者或其他智能体进行交互,并在交互过程中获得丰富的信息作为反馈,扩展智能体的知识范围并对生成的回答进行优化和修正。

与数字系统交互:智能体可以与数字化系统(比如OJ平台、网页、编译器等外部工具)进行交互,交互过程中获得的信息可以作为反馈来优化自身。其中,编译器是最常见的外部工具之一,已有许多工作用编译器编译基于大模型的智能体生成的代码,并将编译得到的错误信息作为反馈信息对代码进行优化。

 

 

02挑战和未来研究方向

本文中进一步分析了软工技术与智能体技术结合的现有挑战并总结了一些未来研究中存在的机遇。

 

对感知模块探索的缺乏

在介绍感知模块时提到,软工领域中探索基于大模型的智能体感知模块的工作还很缺乏。与自然语言不同,代码是一种特殊的表示,可以作为普通文本处理,也可以转换为具有代码特征的中间表示,例如 ASTCFG 等。现有工作通常将代码视为普通文本,忽略了代码特性,建模得到的代码表示中的信息不足,限制了基于大模型的智能体在代码相关的下游任务上的表现。此外,软工领域中目前还缺乏对视觉和听觉输入模态的探索。探索如何高效建模感知模块中基于树/图、视觉或听觉等输入模态是未来研究可行的方向之一。

 

基于大模型的智能体的角色扮演能力

一方面,基于大模型的智能体通常需要在不同任务中扮演不同的角色,每个角色都需要特定的技能。例如,智能体在生成代码时扮演代码生成器的角色,测试代码时则扮演代码测试员的角色。另一方面,智能体有时可能需要同时扮演多个不同角色,具备多种不同能力。例如,在代码生成场景中,智能体需要同时扮演代码生成器和代码测试员两个角色,具备生成和测试代码的能力。软工领域中存在各种已有大模型学习得不够充分的小众任务和需要智能体具备多种能力的复杂任务,例如测试生成场景、前端开发、仓库级代码生成等。因此,研究如何使智能体有效地适应新角色和管理多角色性能需求也是未来工作的一个可行方向。

 

公认知识检索库的欠缺

外部知识检索库既是智能体语义记忆模块中的重要组成部分,也是智能体交互的重要外部工具之一。在NLP领域,有维基百科(Wikipedia)等公认的大型知识库作为外部检索库。但在软工领域,目前尚无权威的、公认的包含丰富代码相关知识(如各类编程语言的基本语法、各类常用算法、数据结构、操作系统相关知识等)的知识库。未来研究中的一个可行方向是开发一个大型的权威代码知识库,并将其作为智能体的外部检索库,为智能体推理决策提供额外的信息,从而提高推理和决策过程的质量和效率。

 

基于大模型的智能体中的幻觉问题

大模型作为基于大模型的智能体的认知核心,其整体性能影响着智能体在各种任务中的表现。已有的工作表明基于大模型的智能体中可能会存在幻觉问题,例如,在做代码生成任务时生成不存在的API。智能体性能和幻觉缓解之间存在双向关系:幻觉问题的缓解可以提高智能体的整体表现,同时智能体的优化也能够反向缓解基于大模型的智能体的幻觉。虽然目前已有一系列工作致力于研究大模型的幻觉,但解决基于大模型的智能体中的幻觉问题仍然存在挑战。探索基于大模型的智能体中存在哪些类型的幻觉、深入分析这些幻觉的原因以及提出有效的幻觉缓解方法是未来研究中存在的机遇之一。

 

多智能体协同合作的效率问题

在多智能体协作过程中,各个智能体需要扮演不同的角色来完成特定的任务,然后将各个智能体的决策结果结合起来,共同解决更为复杂的目标。但这一过程往往需要每个智能体投入大量的计算资源,造成资源的浪费和效率的降低。此外,各个单智能体之间各种信息的同步和共享也引入了额外的通信成本,影响协作的实时性和响应速度。有效管理和分配计算资源、最小化智能体间通信成本、减少各个智能体的推理开销是提升多智能体协作效率的关键挑战,这些问题的解决为未来的研究提供了重要的机会。

 

基于大模型的智能体中软工技术的应用

智能体与软工领域之间存在互惠互利的关系,不仅智能体技术能够应用于软工领域,软工领域的技术(尤其是编码技术)也可以应用到智能体中,推动智能体领域的发展。例如,软件测试技术可以用于识别基于大模型的智能体中的异常行为和潜在缺陷。软件工具(如 API 和库)的改进也可以提高基于大模型的智能体(尤其是对于那些具有工具使用能力的智能体)的性能。此外,智能体系统的管理可以借鉴软件包管理技术。例如,可以应用版本控制来监视和协调智能体系统中不同智能体之间的更新,从而增强兼容性和系统完整性。目前这方面的研究仍然有限,探索将更复杂的软工技术融入智能体系统有助于推动这两个领域的进步,是未来研究的可行方向之一。

 

综上,本综述对智能体技术与软工领域结合的相关工作进行了分析和梳理,构造了包含感知、记忆、动作三个核心模块的软工领域智能体框架,总结软工技术与智能体技术结合存在的挑战并给出了一些未来研究中存在的机遇。相信本综述能够为智能体和软工领域的发展起到促进作用。

 

卓越教学 | 必赢3003no1线路检测中心开展2024-2025学年第一学期教师试讲工作

为进一步提高教师教育教学的能力和水平,确保课堂教学质量,必赢3003no1线路检测中心于2024827日下午采取线上线下相结合的方式,在珠海校区公共实验大楼A307会议室组织开展了2024学年秋季学期新开课教师试讲工作。

 

本次新开课教师试讲工作由学院苏玉鑫副院长担任考核组组长,南雨宏、吴嘉婧、何笑雨及王焱林老师担任考核组专家成员。蒋子规、孔树锋和刘名威3位副教授参与了本次2024-2025学年第一学期新开设课程的试讲,试讲课程分别为《数据结构与算法》《深度学习》《软件测试》。

                           教师试讲现场

 

本次试讲包括教师讲授课程和答辩两个环节。每位试讲教师先进行20分钟的模拟课堂授课,结束后由考核专家组针对试讲教师的整体表现进行约10分钟的提问与点评。

 

参与试讲的各位老师都对试讲内容做了充分的准备,围绕人才培养需求与教学目标,展示了自己的教学特色和教学理念。教学环节设计合理,教学方法丰富。试讲内容逻辑清晰,重点突出,展示了扎实的专业素养与良好的教学水平。

 

试讲环节结束后,专家组评委们充分肯定了各位试讲教师的优点,同时结合自身的教学经验,就课程PPT设计、课程概念与案例之间的平衡、当堂课程重点的偏重等方面对试讲效果进行了客观公正的点评,为各位试讲老师提供了合理的建议。三位试讲教师表示将根据专家意见,总结完善课程内容,持续改进教学能力,提高课堂教学质量。

 

经考核组专家合议,本次所有试讲教师均通过考核,必赢3003no1线路检测中心2024-2025学年第一学期教师试讲工作圆满结束。

 

新开课教师试讲工作是保障课堂教学质量的一项重要举措。此次活动有助于考察评估教师教学水平、加强教师队伍建设与提升本科教学质量。必赢3003no1线路检测中心将继续全面贯彻党的教育方针,落实立德树人根本任务,不断完善教师教学能力保障体系,推进高质量教师队伍建设,提升学院本科教育教学水平,以培养更多高素质的软工专业人才。

 

网络安全为人民,网络安全靠人民 | 必赢3003no1线路检测中心开展网络安全宣传周系列活动

为深入贯彻落实国家关于加强网络安全教育的精神,增强我校师生的网络安全意识,必赢3003no1线路检测中心于202499日至15日开展了网络安全为人民,网络安全靠人民系列活动,切实提高广大师生的网络安全素养,共同营造一个安全、和谐的校园网络环境。

 

01网络空间安全专题培训

2024912日,深信服科技股份有限公司解决方案专家到访学院开展网络空间安全专题培训,向学院师生普及网络空间安全变化发展、全球网络安全安全态势、《网络安全法》、《数据安全法》等知识。

网络空间安全专题培训现场

 

02网络安全人才招聘

 

学院依托一站式社区、人才招聘宣讲会等形式邀请了深信服科技股份有限公司、粤港澳大湾区数字经济研究院(福田)基础软件中心等企业进校进行人才双选,致力为互联网企业、网络安全企业、科研机构等单位提供优秀的网络安全人才。

深信服科技股份有限公司人才招聘宣讲会

粤港澳大湾区数字经济研究院(福田)基础软件中心人才招聘宣讲会

 

 

03线上线下结合开展网络安全宣传

 

学院在微信公众号平台和学院楼大屏显示器定期播放网络安全宣传周视频和宣传手册。

线上线下开展网络安全宣传

 

通过参加网络安全知识云竞答活动,提高师生防范网络诈骗、安全使用网络的意识,加深对网络安全的认识,了解网络安全的重要性,营造良好的校园氛围,构筑出网络安全的第一道防线。

师生参加网络安全知识答题竞赛截图

 

依法治网、依法办网、依法上网

推进社会治理在网络空间的新征程

在数字化时代,让我们共同努力

打造天朗气清、生态良好的网络空间

维护亿万民众共同的精神家园

喜报丨必赢官网6名老师入选全球前2%顶尖科学家榜单(2024)

2024916日,美国斯坦福大学(Stanford UniversityJohn P.A.Ioannidis教授团队发布了第七期全球前2%顶尖科学家榜单(World's Top 2% Scientists)。榜单分为终身科学影响力排行榜”——关注整个学术生涯迄今的影响力,和年度科学影响力排行榜”——聚焦本年度(2024年)的学术成就。

 

必赢官网郑子彬教授同时入选终身科学影响力排行榜年度科学影响力排行榜两个榜单;周育人教授、吴嘉婧副教授、黄华威副教授、陈武辉教授、陈建国副教授(按榜单排名顺序)入选年度科学影响力排行榜

 

必赢官网入选年度科学影响力排行榜的教师名单

 

全球前2%顶尖科学家榜单由斯坦福大学John P.A. Ioannidis教授团队联合国际权威学术出版社爱思唯尔发布,于20197月发布了该榜单的第一期,截至目前已发布七期。第七期统计时间节点为1960-2024年,涵盖全球约20余万名科学家。

 

数据来源

 

该榜单基于全球科学家的论文总引用数、h指数(全称“H-index”,用于评估研究人员的学术产出数量与学术产出水平)、合著者调整的hm指数、单独或第一作者的文章引用数等综合参数,反映科学家的产出量和学术影响力。入选的科学家分为22个学科领域和174个细分领域。

 

 

联系方式

联系人:林老师

联系电话:+86-0756-3661030

联系邮箱:linj27@mail.sysu.edu.cn

办公地址:广东省珠海市高新区大学路2号必赢3003no1线路检测中心珠海校区公共实验楼A305

学院官网:/

 

必赢3003no1线路检测中心参与成立“大湾区生成式人工智能安全发展联合实验室”

2024911日,在2024年国家网络安全宣传周粤港澳大湾区安全技术创新座谈会上,由中共广东省委网信办和国家互联网应急中心广东分中心联合发起组织筹建的大湾区生成式人工智能安全发展联合实验室(以下简称联合实验室)正式成立。

 

必赢3003no1线路检测中心与华为公司、腾讯公司、广州市委网信办、深圳市委网信办、东莞市委网信办以及深圳河套发展署将共同参与联合实验室建设。必赢3003no1线路检测中心必赢3003no1线路检测中心院长郑子彬教授出席了联合实验室成立仪式。

 

图片

必赢官网郑子彬院长出席联合实验室成立仪式(左三)

 

联合实验室将在省委网信办的直接领导下,紧紧依托国家互联网应急中心的全面赋能,由国家互联网应急中心广东分中心牵头实体化运行,属地网信等相关部门大力支持,充分发挥华为公司、腾讯公司在人工智能方面的核心引擎和辐射带头作用,以及必赢3003no1线路检测中心在安全可信、量化评级方面的深厚科研积累,着重推进六方面能力建设:一是建设一套本地化生成式人工智能安全测评系统;二是形成一套属地生成式人工智能安全发展标准;三是训练一套大模型安全智能测评引擎;四是运行一套平台自动化+专家团队复核的运营方式;五是研究一套安全可信+量化评级的服务行业框架;六是探索一套共建共享+双向赋能的促进发展支撑监管新模式。

 

必赢3003no1线路检测中心必赢3003no1线路检测中心于20247月正式成立可信大模型研究中心,致力于研究和开发安全可信赖的人工智能大模型技术。研究团队重点围绕大模型的可信技术问题开展研究,主要覆盖幻觉消除、可控生成、模型可解释性、鲁棒性与可靠性、数据隐私与安全、自主可控基础设施以及模型可信性评估等方面,以提升大模型的真实性、安全性、公平性、鲁棒性和隐私性等指标,实现安全可靠、自主可控的人工智能技术发展。接下来,学院将在联合实验室相关部门的指导下,为联合实验室的大模型可信评测工作提供技术支持与服务,助力大湾区生成式人工智能的安全发展。

“人工智能与生物医学融合:前沿技术与创新应用论坛”在学院顺利举行

2024723日,由中国计算机学会(CCF)主办,必赢3003no1线路检测中心、CCF珠海会员活动中心承办的人工智能与生物医学融合:前沿技术与创新应用论坛活动在必赢3003no1线路检测中心必赢3003no1线路检测中心(珠海校区)顺利举行。

 

本次论坛主席由必赢3003no1线路检测中心陈建国副教授和山东师范大学梁成副教授担任,论坛共邀请到加拿大多伦多大学张兆雷教授、美国伊利诺伊大学Philip S. Yu教授(IEEE/ACM Fellow)、湖南大学骆嘉伟教授、必赢3003no1线路检测中心郑子彬教授(IEEE Fellow)、必赢3003no1线路检测中心附属第五医院吕海主任和唐彩华副主任、徐州医科大学董东教授、南方科技大学帅世民研究员、香港科技大学(广州)谢思泓教授和胡旭明教授、哈尔滨工业大学马洪丽副研究员、湖南师范大学肖球副教授、西安电子科技大学张世雄副教授和孙赛赛副教授、西安工程大学杨博副教授、加拿大多伦多大学潘楚研究员、澳门科技大学田晋宇副教授、肇庆学院朱香元副教授、中科鸿业科技张平董事长等包括中国澳门地区在内的国内外16个单位的60余名知名专家学者、高校师生和企业代表参加。

图片

 

活动开始,本次论坛执行主席陈建国副教授和梁成副教授介绍了与会嘉宾与论坛议程。

 

图片

 

必赢3003no1线路检测中心必赢3003no1线路检测中心院长郑子彬教授致欢迎辞。他对各位专家学者的到来表示热烈欢迎,并简要介绍了学院在软件工程、区块链、分布式计算、可信大模型等领域的科研成果和发展愿景。

 

图片

 

本次论坛邀请了多位领域内的顶尖专家进行专题报告。

 

加拿大多伦多大学(University of Toronto)医学院张兆雷教授首先作了题为《Application of Genome Sequencing and Machine Learning in Cancer Evolution and Diagnosis》的报告,讨论了基因组测序的最新进展,分享了在发现这些特征和生物标志物以及重建癌症克隆史方面的强大计算算法,并以白血病和骨髓移植的特殊临床病例为例进行讨论。

 

 

必赢3003no1线路检测中心附属第五医院主任医师、博士生导师,脊柱外科主任吕海教授作了题为《人工智能辅助脊柱相关疾病诊疗的应用》的主题报告,分享了人工智能技术在脊柱疾病诊断、关键解剖结构区域的可视化方面和脊柱微创手术导航方面上展开的一系列研究。利用人工智能可有效解决脊柱疾病诊疗过程中存在影像诊断耗时且主观差异性、影像引导穿刺难以精准到达病灶靶点位置等问题,并使得脊柱疾病的诊疗更个体化、精准化、微创化和智能化。

 

徐州医科大学临床医学院肿瘤生物治疗研究所董东教授分享了题为《Identification and functional implications of alternative splicing events in colorectal cancer》的主题报告,讨论了选择性剪接在癌症发生和发展中的重要作用,分享了在采用长链测序技术方法研究癌症的选择性剪接复杂性等方面的最新研究成果,并强调了选择性剪接事件在结直肠癌癌症肿瘤发生中的重要性。

 

图片

 

湖南大学信息科学与工程学院教授、博士生导师、湖南大学岳麓学者骆嘉伟教授分享了题为《面向转录组学数据的细胞与组织异质性分析方法研究》的主题报告,探讨了单细胞RNA测序技术和空间转录组学技术的最新发展,介绍了一种基于稀疏注意力的预训练微调模型scTrans,充分挖掘单细胞转录组中的基因表达信息以研究细胞间的异质性。

 

图片

 

美国伊利诺伊大学芝加哥分校(University of Illinois at ChicagoUIC)讲席教授、IEEE/ACM Fellow Philip S. Yu教授作了题为《Geometric Deep Graph Learning: Exploring Opportunities in Different Geometric Spaces》的主题报告, 分享了图神经网络在图上学习、表示空间(如传统的欧几里德空间)中生成节点或图嵌入的最新进展,深入探讨各种几何空间的迷人事实和性质,并讨论了分类、聚类、对比学习、图结构学习和连续图学习等任务以及在生物医学领域的潜在应用。

 

 

南方科技大学医学院研究员、博士生导师,国家首批海外优青、深圳市国家级领军人才帅世民教授分享了题为《Decoding the Disease Ecosystem with Computational Omics》的主题报告,探讨了疾病生态系统各个组成部分之间的多向相互作用及其对癌症生物学的重要意义,并从三个方面系统地解码了疾病生态系统。

 

 

此外,香港科技大学(广州)谢思泓教授、澳门科技大学田晋宇副教授、必赢3003no1线路检测中心附属第五医院唐彩华副主任、哈尔滨工业大学马洪丽副研究员、湖南师范大学肖球副教授、西安电子科技大学张世雄副教授等与会嘉宾也分享了他们在人工智能和生物医学领域的最新研究成果和实践经验。

 

 

图片

图片

图片

 

在互动环节,与会者踊跃提问,与专家们进行了深入的探讨与交流。大家纷纷表示,参加此次论坛不仅拓宽了视野与眼界,了解了人工智能和生物医学领域的最新动态,还结识了许多志同道合的同行,为未来的合作打下了坚实基础。

 

图片

图片

 

活动第二个议程为参观必赢3003no1线路检测中心必赢3003no1线路检测中心。与会人员了解了必赢3003no1线路检测中心-招联数字金融联合研究中心广东省区块链工程技术研究中心可信大模型研究中心等研究中心的最新科研进展和成果,并与学院各个项目团队进行了深入的沟通和交流。

 

图片

图片

 

本次论坛在热烈的掌声中圆满落幕。与会者普遍认为,此次活动为人工智能和生物医学领域的研究与应用,搭建了一个高水平的能与全球顶尖专家学者交流的平台,分享了领域内最新的研究进展和应用案例,激发大家的创新思维,共同推动人工智能与生物医疗的深度融合与发展,推动了该领域的学术进步与技术创新。同时,本次活动的交流不仅加强了高校之间的联系与合作,也为中国计算机学会与澳门高校之间的合作搭建了桥梁。

必赢3003no1线路检测中心必赢3003no1线路检测中心可信大模型研究中心博士后招聘启事

1学院简介

 

必赢3003no1线路检测中心必赢3003no1线路检测中心创办于20206月,整建制位于必赢3003no1线路检测中心三校区五校园的珠海校区,学院以立德树人为人才培养根本目标,充分发挥必赢3003no1线路检测中心作为一所综合性大学的学科优势,形成鲜明的研究型、复合型、创新型的高素质人才培养特色。学院以面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康为基本导向开展科学研究。学院拥有优越的科研条件和一流的软硬件配套设施。拥有多种高性能服务器、工作站和充足的GPU计算资源,以及丰富的软件资源。

 

图片

必赢3003no1线路检测中心珠海校区必赢3003no1线路检测中心大楼 (来源:网络)

 

2学院发展

 

必赢3003no1线路检测中心自成立以来,逐渐形成一支以青年优秀教师为主力、氛围活泼、交流融洽的人才队伍。近年来,承担及参与了多项国家级及省部级科研项目,包括国家重点研发计划、国家自然科学基金项目、广东省自然科学基金项目、广东省科技项目等。

 

在产学研合作方面,学院与业界多家公司建立了密切的合作关系,包括华为、腾讯、微众银行、阿里巴巴、蚂蚁集团、招联金融、南方电网、浪潮、数字广东等企业,共同开展了一系列科研项目。

 

必赢3003no1线路检测中心软件工程专业是国家一流本科专业建设点,在2023年度CSRankings软件工程子方向的排名中,位列全球第2位。

 

学院坚持国际化办学,大部分教师由海外知名大学引进,年龄结构年轻化,研究团队平均年龄低于35岁,所擅长领域紧跟学科发展前沿;并注重人才引育并举,部分老师入选主流学会(IEEEIET等)会士、ACM杰出科学家。学院倡导直接高效的办事风格,鼓励科研团队之间的相互合作,注重与海内外著名高校的交流,聘有中科院院士、ACM FellowIEEE Fellow等相关领域知名专家学者为校外导师。

 

图片

 

3可信大模型研究中心介绍

 

必赢3003no1线路检测中心必赢3003no1线路检测中心于20247月正式成立可信大模型研究中心,致力于研究和开发安全可信赖的人工智能大模型技术。研究中心重点围绕大模型的可信技术问题开展研究,主要覆盖幻觉消除、可控生成、模型可解释性、鲁棒性与可靠性、数据隐私与安全、自主可控基础设施以及模型可信性评估等方面,以提升大模型的真实性、安全性、公平性、鲁棒性和隐私性等指标,实现安全可靠、自主可控的人工智能技术发展。

 

4招聘岗位及申请条件

 

(一)基本申请条件:

1. 拥护中国共产党的领导,坚持正确的政治方向,遵守中华人民共和国宪法和法律,忠诚教育事业,遵守学校的各项规章制度;

 

2. 具有良好的思想道德素质,有强烈的事业心和责任心;具有履行职责所需要的理论水平和专业知识,具有较强的技术能力、组织协调能力和团队协作精神;

 

3. 要求具有人工智能、软件工程、软件安全、网络空间安全、机器学习、自然语言处理、计算机视觉、机器人、数据挖掘等相关学科背景和科研经验;

 

4. 从事过以下方向研究并且具有相关领域国内外顶级期刊与会议论文发表经历者优先考虑:可信人工智能、大模型(如提示学习、基于图和知识图谱的增强检索、价值微调与安全对齐等)、大模型智能体、机器人大模型、医学大模型、人工智能模型评测、数据安全与隐私保护(如隐私攻击、区块链、联邦学习、差分隐私、隐私推理、数据脱敏等)、数据治理(如数据复原、异常检测、多源融合、模型鲁棒性等)、对抗人工智能(如对抗/后门/投毒/越狱等攻击与防御)、大模型的幻觉及消除、人工智能可解释性、人工智能偏见与公平性等;

 

5. 聘期内应全职到岗并从事可信大模型相关领域的博士后研究工作。

 

(二)岗位申请条件:

1)博士后

1. 年龄在35岁以下,获得博士学位不超过3年,熟悉高等教育规律,了解国内外高等教育情况,具备国际化的学术视野,具备较高的学术水平和较强的科研能力的国内外优秀博士。

 

2)逸仙博士后

为大力吸引海内外优秀青年学者来我校从事博士后研究工作,推动博士后拔尖引育工作,我校设立逸仙博士后项目。

 

1. 具有良好的学术道德和创新能力、有一定科研积累和较大学术发展潜力,具有广阔学术视野的优秀青年人才。身心健康,年龄不超过35岁。

 

2. 有世界一流大学博士经历,或博士学位所属学科为业内公认的世界一流学科,申报时须在国内外知名高校、研究机构获得博士学位不超过三年(以每批次申请截止日期为准)。应届博士毕业生在申报时须已满足博士学位论文答辩的要求。已初步选定博士后合作导师,并与合作导师拟定博士后期间研究计划。

 

3. 项目评选指标主要包括申请人的教育背景、学术能力、个人研究计划水平、研究项目与拟申请进站招收单位、合作导师科研方面的契合度、推荐人评语、博士后合作导师对申请人进站申请方面的意见及承诺等。

 

4. 博新博士后项目根据各年度的博士后创新人才支持计划项目通知要求及入选情况执行;学校国际联合培养博士后项目及博士后海外引才项目入选者可优先推荐申请博优博士后项目,具体根据学校各年度的通知要求及入选情况执行。

 

5待遇标准

 

(一)薪酬待遇

1. 提供行业内有竞争力的待遇,博士后参照必赢3003no1线路检测中心关于博士后待遇的相关规章制度执行,均含个人及单位五险一金。其中,必赢3003no1线路检测中心逸仙博士后不低于50万元/年(含五险二金),出站后可直接申请我校教学研究并重系列教师预聘职位,有足够的成长空间和晋升机会。

 

(二)科研平台

1. 学校将为获选人员提供高水平的科研平台和理想的工作环境,全方位支持获选人员的各类科研项目申报。

2. 必赢3003no1线路检测中心与可信大模型研究中心将为获选人员提供事业发展所需要的科研支持;入站前/后,将积极推荐申报必赢3003no1线路检测中心逸仙博士后、国家博新计划、中国博士后科学基金、国家自然科学基金青年项目、广东省海外博士后人才支持项目等。

 

(三) 保障政策

1. 有较强竞争力的薪酬待遇和校区补贴。

2. 提供有足够的成长空间,出站后可申请教研系列预聘-长聘制岗位,按“PI”标准配置资源和精心培育,有足够的成长空间和晋升长聘机会。

3. 学校学科种类多,科研平台高,有利于学科交叉和开展高水平的研究工作。

4. 校园环境优美,学术氛围浓厚,行政效率高。

5. 有充足的办学空间,能提供较好的办公及科研用房条件;有充足的人才公寓,供博士后租住。

6. 10家实力雄厚的附属医院,可为人才提供高水准的医疗保障。

7. 各校区均有附属中小学,为博士后子女提供优秀教育资源。

 

6申请材料及联系方式

 

1.个人最新简历;

2.表明研究能力和学术水平的成果(如:获奖情况、鉴定、项目、学术论文等)及佐证材料;

3.博士学位论文(如有)或代表性论文。

4.申请人将以上材料电子版发送至博士后招聘联系人邮箱,附件和邮件主题均以可信大模型研究中心+博士后+姓名标明。

 

联系人:刘名威老师

联系电话:15221926558(微信同号)

邮箱:sserecruit@mail.sysu.edu.cn

地 址:广东省珠海市唐家湾必赢3003no1线路检测中心珠海校区公共实验楼3

 

 

必赢3003no1线路检测中心必赢3003no1线路检测中心

竭诚欢迎海内外优秀博士!

以上岗位长期有效,

热情期待您的加入!

深耕乡土,再会丰阳——必赢3003no1线路检测中心2024年暑期“三下乡”暨“百千万工程”突击队活动回顾

文章标题:深耕乡土,再会丰阳——必赢3003no1线路检测中心2024年暑期“三下乡”暨“百千万工程”突击队活动回顾

文章发布时间:2024年08月06日

文章内容:(除去推送的格式,保留文字+图片)(宋体 小四 1.5倍行距 首行缩进2格)

数字乡村建设是乡村振兴的战略方向,也是推进数字中国建设的重要内容。2021年,《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出“加快推进数字乡村建设”,《“十四五”国家信息化规划》将“数字乡村发展行动”列为十大优先行动之一,并做出明确部署。2023年中央一号文件提出,要深入实施数字乡村发展行动,推动数字化应用场景研发推广。

 

为响应中央一号文件号召,贯彻落实“十四五”规划中对数字乡村建设的明确要求,自2022年起,必赢3003no1线路检测中心必赢3003no1线路检测中心紧跟广东青年“下乡返乡兴乡”的步伐,积极投身“百县千镇万村高质量发展工程”三年行动计划。学院立足广东地区实际,充分发挥专业优势,精心组织并成立了“数字乡村”三下乡实践团,连续两年深入广东省清远市连州市丰阳镇,围绕“赋能数字经济,助力乡村振兴”的主题,开展了暑期“三下乡”社会实践活动暨广东青年大学生“百千万工程”突击队行动,为连州市丰阳镇乡村振兴高质量发展贡献青春力量。

 

2024年7月15日,在学院党委领导和团委指导下,必赢3003no1线路检测中心实践团再赴丰阳镇开展“数字人电商直播”建设工作。本次三下乡实践团沿用了往年技术组、电商组和宣传组三个小组的分组模式,共有26名学生参加。

 

图片

▲软工三下乡实践团在电商中心工作
 

▲软工三下乡实践团在丰阳古村调研

 

前期准备

2024年1月,数字丰阳团队召开中期工作会议,汇报“数字人”2.0版本的开发进度,技术组同学基本上利用GPT大语言模型、TTS(Text To Speech)文本转语音、RAG技术、语音驱动数字人唇形等技术实现了数字人自动抓取弹幕并智能回答问题的功能。

 

图片

▲中期汇报会议

 

2024年6月,学院党委副书记蓝澍德、可信大模型研究中心副主任陈文清助理教授带领数字丰阳团队参访珠海华发数智技术有限公司和调研粤港澳跨境电商基地,开展AI数字人电商业务考察交流,为数字人2.0版本的技术迭代和应用实践寻求突破。

 

▲参访珠海华发数智技术有限公司和调研粤港澳跨境电商基地

 

2024年6月28日,为了更好地规划2024年暑期三下乡活动,实践团召开了动员大会。会上,林柱良老师向同学们介绍了本次活动的背景,并对实践团近两年的工作成果进行了简单回顾。之后,实践团总队长、技术组组长弓志宏同学以简单明快的语言为同学们解释了何为数字人技术。最后,林柱良老师引导大家明确了今年的工作目标与活动安排,各小组也陆续完成了人员分工确定、小组工作策划案提交等任务,并参照本小组的工作安排为活动的开展进行了充分准备。

 

图片

图片

▲动员大会

 

技术组:技术革新,版本升级

技术组的同学们紧锣密鼓地进行了2.0版本数字人的升级工作和直播技术方案的确定,旨在为大家带来更加逼真的数字人直播效果与互动性更强的直播体验。

 

小组成员们首先将数字人原型——必赢3003no1线路检测中心2022级黄佳伟同学的照片放入3D角色建模软件Character Creator,并使用游戏引擎UNREAL ENGINE的METAHUMAN功能,制作出3D数字人“黄小伟”。然后采用GPT大语言模型、TTS(Text To Speech)文本转语音、使用RAG技术生成弹幕回答、语音驱动数字人唇形等技术,借鉴Fay数字人开源项目,从而实现人机交互、数字人直播带货。

 

图片

图片

 

相较于上个版本的数字人,今年实践团推出的2.0版本数字人新增了全自动弹幕回答功能,弹幕上的每一个问题,都能得到即时、精准的回应,使得直播互动体验全面升级。技术组还通过真人音频训练的文本转语音模型,让黄小伟的声音更加自然、亲切,仿佛真人就在身边。除此之外,技术组还使用了RAG技术,结合大数据检索与高级语言模型,确保信息检索的准确性与回答的相关性,为弹幕提供最优质的回答内容。

 

宣传组:创意无限,脑洞大开

在小组成员的一致参与下,宣传组逐步确定了活动回顾总视频的拍摄思路与具体拍摄脚本,并且针对如何制作出既吸引眼球又富有创意的宣传预热视频和推文进行了热烈讨论。在讨论中,同学们纷纷脑洞大开,积极提出自己的想法与建议,力争为本次活动带来最好的宣传效果。

 

电商组:流程优化,多次彩演

电商组的同学们在观摩类似直播后确定了本次直播的整体流程,并进行了台前幕后的人员安排。为了给观众朋友们带来完整流畅、充满互动与惊喜的直播体验,在活动正式开始前,他们组织了多场直播彩排工作,只为在镜头前呈现最好的直播效果。

 

图片

 

抵达丰阳

 DAY1 

经过前期的充分准备,2024年7月15日上午,实践团乘坐大巴车从珠海出发,正式开始了为期三天的三下乡实践活动。一抵达丰阳,实践团成员们便积极地开展了相关调研工作。同学们首先前往连州市丰阳镇电子商务中心,共同观看学习了多个丰阳镇官方宣传视频。从绘声绘色的视频中,我们了解到丰阳是一个历史悠久、物资阜盛的小镇。千年历史的濯洗给后世留下了诸多财富:从让牛肉干变得美味的秘方,到能耕种出稻米、红薯、水晶梨等农作物的富硒沃土,再到加工它们的技法。丰阳牛肉干、大富头马蹄、丰阳沙糖桔......各种特色产品应接不暇。

 

图片

▲在丰阳电子商务中心合影

 

为了将这些优质产品带出丰阳镇,让它们走进千家万户,同学们立即开始着手准备宣传预热视频的拍摄与推文的制作,从而吸引更多人关注连州市丰阳镇,参与到助农直播中来。电商组的同学们以青春洋溢的面貌,投入到幽默风趣的小短剧拍摄中;技术组的同学们用代码和算法构建起鲜活的“生命”,让数字人在现实世界中绽放光彩;宣传组的同学们将缤纷的创意绘制到海报上、书写在预热推文里……在紧张繁忙的工作中,活动的第一天落下帷幕。

 

图片

 

图片

 

 DAY2 参观丰阳牛肉干制作过程

第二天早晨,实践团来到丰阳牛肉干市场参观牛肉干的制作过程。经过切块、熏烤的牛肉干色香味俱全,作为丰阳镇的金字招牌,它不但富有连州饮食特色,更蕴含着千年的文化韵味。近年来,在中大师生的助力下,丰阳牛肉干的非遗化与产业化程度大大提升,也为当地村民敲开了增收致富的大门。

 

图片

图片

▲丰阳特色牛肉干制作

 

直播彩排

为了确保正式直播的顺利进行,回到电商中心后,同学们便马不停蹄地开始了直播相关准备。电商组的同学们认真练习台词,不断优化直播流程,让直播在达成宣传效果的同时又不失幽默风趣;宣传组的同学们剪辑视频、编写文案,为直播间的宣传尽心尽力;技术组的同学们调试设备,并对本次直播的最大亮点——“数字人”进行最后测试,为直播的进行提供了坚实可靠的技术保证。

 

▲直播彩排

 

直播实践

一切准备就绪,2024年7月16日晚7:30,软工三下乡实践团的助农直播带货准时开始!

 

电商组的同学们早已做好充分准备,流畅地展示了各类产品:从晶莹剔透的水晶梨到清香四溢的南岭野生茶,再到满载回忆的丰阳农家水煮花生、富有嚼劲的手工红薯干、色彩斑斓的柯沐湾果蔬面,以及健康美味的丝苗香米和新鲜马蹄套装,每一款产品的亮点都被精心呈现。

 

新上任的“主播们”在镜头前熟练地推介产品,细致地描述其口感;虚拟数字人主播“黄小伟”与同学们默契配合,幽默风趣的语调让直播间充满轻松快乐的氛围,吸引了众多观众前来观看,使直播热度得到进一步提升。

 

图片

图片

 

镜头外,其他小组的同学各司其职,紧密协作:宣传组实时记录直播过程,技术组精心调试设备,共同保障直播的顺利进行。

 

直播的最后,同学们依次登场谢幕,软工三下乡电商直播到此圆满结束。必赢3003no1线路检测中心2024年三下乡实践团在丰阳镇的助农直播总计吸引了1331人次观看,同时在线人数最高达到122人,成交金额达到2068元,直播效果获得了当地群众的一致认可。

 

图片

图片

 

DAY3调研丰阳古村

第三天,在当地工作人员的带领下,实践团走进丰阳古村,聆听千年古戏台、丰溪古庙悠久厚重的历史,感受一砖一瓦间蕴含的历史底蕴,在丰阳村史馆了解丰阳村的风土人情和昨日今朝。历经岁月的冲刷,这个三万多人的小镇散发着独特魅力:环绕小镇的青山碧水、古色古香的楼房、淳朴的人民......无一不深深打动着远道而来的同学们。目前,丰阳镇政府正围绕“四色丰阳”的整体规划,全力推进全域旅游发展。在“百千万工程”的有力推动下,这座享有“一间古庙、两条古街、三间祠堂、四座门楼”之美誉的千年古村,正焕发着前所未有的活力与生机。

 

图片

图片

 

参观畔水村和渔晟农业科技园区

在对丰阳古村进行简单调研后,同学们乘坐大巴前往本次丰阳之旅的最后一站——渔晟农业科技园。在园区经理的介绍下,我们对园区集立体种养殖、建设高标农田(稻渔混养示范基地)、科普教育、综合田园体验、乡村休闲旅游、特种水产及农副产品生产及加工、销售、等一二三产融合发展的运行模式有了简单了解。之后,我们参观了紧邻园区的广东省级古村落——畔水村。畔水村三面环水,两条从太岁山潺潺流下的溪流将其环绕,状如一艘航行的木船,故有“船形畔水”之名。

 

如今的畔水村是一座名副其实的“古韵新村”:乡村大道整洁优美,文化休闲公园风景宜人,广场健身设施齐全,凉亭湖畔独具特色。此番实地调研加深了实践团的老师和同学们对丰阳的认识,让我们在了解当地风土人情的同时,感受到这座走在振兴道路上的小镇的勃勃生机。

 

图片

▲参观畔水村

 

软工2024年三下乡实践团成员名单

带队老师及队长:

指导老师:蓝澍德、陈文清、林柱良、周玉婷

总队长:陈嘉霓、弓志宏

技术组成员:

组长:弓志宏、胡城

组员:李逸城、罗碧文、魏桂鹏、陈怡帆、江婷、梁竟冀、潘李麒、苏东鹏、张梓莹

图片

电商组成员:

组长:吴欣晔、周意

组员:汪薇、袁子溪、李豐形、黄妍、杨凯宇、施可欣、杨佳乐、陈奕静、郭佳鑫、骆明智、陈星言、 梁水飞、苏玥、吕洪志

图片

宣传组成员:

组长:罗政杰、陈奕含

组员:汪俊、吴悦、李鑫玉、冯健恒、陈星言

 

2024年7月17日,必赢3003no1线路检测中心必赢3003no1线路检测中心暑期“三下乡”社会实践活动圆满结束。活动围绕“数字人电商直播”主题,参考传统直播流程,运用技术手段加以创新,成功实现了数字人24小时直播,显著提升了数字人直播带货的用户交互体验,并在积累往年直播经验的基础上总结出了更加成熟的直播方案。本次直播收益较往年稳定提升,通过宣传视频的拍摄与推文的制作,在一定程度上提高了“丰阳优品”直播视频号的知名度与曝光度,为丰阳镇打造特色乡村电商平台提供了积极思路。

 

2024年暑期“三下乡”活动已告一段落,但我们与丰阳的故事未完待续。未来,软工学子将继续凝练项目成果,打造项目特色。运用所学专业知识与技能助力清远丰阳打造数字化电商中心,为乡村数字经济的发展注入新鲜的思维和动力。丰阳,我们下次再见!

订阅