ae做片段视频LLM进入「拖拽时代」！只靠Prompt，几秒定制一个大模型，效率飙升12000倍

【新智元导读】最近，来自NUS、UT Austin等机构的研究人员创新性地提出了一种「拖拽式大语言模型」（DnD），它可以基于提示词快速生成模型参数，无需微调就能适应任务。不仅效率最高提升12000倍，而且具备出色的零样本泛化能力。 刚刚，包括尤洋教授在内的来自新加坡国立大学、得克萨斯大学奥斯汀分校等机构的研究人员，提出了一种全新的「拖拽式大语言模型」——Drag-and-Drop LLMs！ 通过一个轻量级文本编码器与一个级联超卷积解码器的组合，DnD能在数秒内，仅根据无标签的任务提示词，生成针对该任务的LoRA权重矩阵。 通过观察，研究人员发现，LoRA适配器无非是其训练数据的一个函数：梯度下降会将基础权重「拖拽」至一个特定任务的最优状态。 为了赋予模型「拖拽」的能力，团队将这些数据集的提示词与收集到的LoRA权重进行随机配对，构成DnD模型的训练数据——即「提示词-参数」对。 在推理阶段，团队只需将来自全新数据集（训练中未见过）的提示词输入DnD，仅需一次前向传播，即可获得为该任务量身定制的参数。 实验结果表明，在零样本测试集上，团队的方法相较于训练所用的LoRA模型的平均性能，取得了惊人的提升，并且能够很好地泛化到多种真实世界任务和不同尺寸的LLM。 此前，他在中国科学技术大学获得人工智能学士学位。并曾在北卡罗来纳大学教堂山分校Huaxiu Yao教授的指导下进行实习，以及在中国科学技术大学数据科学实验室跟着导师Xiang Wang度过了两年的时光。 Zhangyang Wang目前是德克萨斯大学奥斯汀分校钱德拉家族电气与计算机工程系的终身副教授，并荣膺坦普尔顿基金会第7号捐赠教席。 他于2016年获伊利诺伊大学厄巴纳-香槟分校电气与计算机工程博士学位，师从计算机视觉泰斗黄煦涛(Thomas S.Huang)教授；并于2012年获中国科学技术大学电子工程与信息科学学士学位。 核心目标是创建结构化、模块化的模型表示：1）在过参数化模型空间中实现高效、鲁棒的学习；2）与符号知识及推理进行无缝连接。 此前，他在新加坡国立大学获得数据科学与机器学习博士学位，在中国科学院深圳先进技术研究院获得计算机技术硕士学位，在北京师范大学珠海校区获得学士学位。