PG电子,pg娱乐,PG电子试玩平台,PG电子技巧,PG电子下载
基于规则的强化学习（RL/RFT）已成为替代 SFT 的高效方案，仅需少量样本即可提升模型在特定任务中的表现。
该方法通过预定义奖励函数规避人工标注成本，如 DeepSeek-R1 在数学求解中的成功应用，以及多模态领域在图像定位等任务上的性能突破（通常使用 IOU 作为规则 reward）。
vivo 与香港中文大学的研究团队受到 DeepSeek-R1 的启发，首次将基于规则的强化学习（RL）应用到了 GUI 智能体领域。
本研究创新性地将规则 RL 范式拓展至基于低级指令的 GUI 动作预测任务。具体实现中，多模态大语言模型为每个输入生成包含推理标记和最终答案的多条响应轨迹，在训练和测试时的 prompt 设计如下：
随后通过我们设计的奖励函数评估每条响应，并采用 GRPO 等策略优化算法更新模型参数。该奖励函数包含三个维度：
动作类型奖励：根据预测动作与真实动作的匹配度计算；动作参数奖励（聚焦点击操作）：通过预测坐标是否落入真实边界框评估；格式规范奖励：评估模型是否同时提供推理过程和最终答案。
数据制备方面，仅依据难度、多样性和质量三原则筛选 130 余个移动端训练样本，展现出卓越的数据效率。实验表明，UI-R1 在桌面端和网页平台等跨领域（OOD）数据上均取得显著性能提升，印证了规则 RL 处理跨领域复杂 GUI 任务的潜力。
与其使用大量普通数据，我们提出采用了「质量优先」的策略，从三个维度精选训练数据：
最终只使用了136 个高质量样本，比传统方法少了几百甚至上千倍，就能够训练得到比 SFT 方式更优的效果。
UI-R1 采用了一种名为 GRPO（Group Relative Policy Optimization）的算法。这种算法不需要额外的评论家模型，而是通过比较同一问题的多个不同回答来学习什么是「好」的回答。
我们关于 UI-R1 做了一系列分析，研究发现：在 GRPO 的强化学习微调的方式下，数据质量比数据数量重要
困难样本更有价值：按难度选择的方法比随机选择的性能显著更好。数据增长收益递减：随着训练数据量增加，性能提升趋于平缓。精选小数据集比大数据集更有效：三阶段数据选择方法优于使用整个数据集或者随机筛选相同数量的子集。
此外，我们还发现动作预测的难度与思考的长度之间存在关联：思考长度越长，准确率越低（说明问题越难），但通过 UI-R1 形式的强化学习微调之后，对于难样本的成功率提升也更加明显。
这一现象证明了强化微调的价值，通过让模型自主思考来提升难样本的准确率，这个特性是之前的监督微调所难以获得的。
UI-R1 初步探索了大模型强化学习和推理技术在 GUI Agent 领域的应用。下一步，我们将尝试将 UI-R1 从 RFT 拓展到 SFT + RFT 的组合，实现大规模 UI 数据下统一的思考、决策、规划的 GUI Agent 大模型
04月01日，道中华丨品尝拉祜族村寨咖啡果，新凯发娱乐官方网站登录，AG平台在线试玩，国际皇冠app下载，188体育注册网址
04月01日，“推动各国实现共同发展繁荣”（大道之行），永乐国际一往无前，星际线优德体育手机版，爱游戏体育下载官网
04月01日，中德合作有利于全球经济稳定发展，jdb电子游戏爆分，天博体育主页，乐虎国际平台网址，华体会最新
04月01日人民会客厅2024两会时刻——汇聚新质生产力澎湃动力 激发高质量发展强劲动能全天快三计划稳定版新葡家娱乐场网站至尊信誉威尼斯华球足球比分
04月01日空军通信某旅专攻精练畅通指挥链路bet官网注册2022年明升国际365bet体育平台开户免费注册凤凰彩票入口登录
04月01日蚂蚁森林超9成树种在“三北”攻坚战核心区，再捐1亿元支持甘肃种树治沙电玩网游金鲨银鲨BOB网页版澳门威斯人网站大全雪缘园比分直播比分……
04月01日，卓杰“支教记”，凯发娱乐平台，188体育官网是多少，万豪平台怎么样，韦德体育国际
04月01日，郑钦文人民日报撰文：远大的梦想，唯有坚持才能抵达，申博入口，亿博官网买球，伟德在线买球，英皇娱乐世界杯买球
04月01日江西南昌：龙年“二月二” 萌娃“剃龙头”华体会打不开了澳门葡京游戏电子bet365在线买球手机网投网下载
04月01日，2009年以来冬季最强雨雪冰冻天气来袭 中央气象台发布多个预警，百老汇世界杯比分，ag亚美国际，AG8AG8亚洲集团，澳门新葡平台正规网址8883
04月01日，高盛预计美国降息时点从3月推迟至5月！人民币迈向7.2，2015金沙澳门俱乐部9570，最新炸金花直营，乐享彩票官方网站登录，宝龙国际
04月01日，【台胞“申”活】打卡魔都｜廖子瑄：沉浸式体验“数字之都”，麻将公式一定要背下来，KU九州，威尼斯人登录和注册，澳门太阳赌城网站
04月01日（走进中国乡村）广西象州古琶村：茶香浸润四百年 一片绿叶成金叶谁有cc国际彩球平台真钱游戏平台万博manbetx体育客户端炸金花正规网站
04月01日向“新”逐“绿”踏浪行——吉林省新能源产业发展走笔BET8登录APP极速电竞网址澳门哪里有捕鱼游戏机玩BETVLCTOR伟德下载
04月01日广东已成立深圳深江铁路重大坍塌事故调查组刀锋电竞官方app手机彩票新皇冠官方app2020ag注册app下载
第75届艾美奖获奖名单公布，6100元的娇兰量子面霜引科学家吐槽2024湘台青年交流活动举行 助力台青享发展机遇新濠娱乐场娱乐场bet36亚洲版qy333vip千赢国际怎么样网上斗地主赢钱的软件
赵丽颖易烊千玺二搭，今年的龙是不是兔子改的长沙18岁脑瘫少年居家自学 坚强母亲陪读助其圆大学梦太阳集团娱乐网址平台188体育平台登陆金沙网址大全美高梅正规开户
人流涌动背后的市场活力，新疆阿克苏地区库车市发生3.4级地震漫博会在东莞举行 “传统文化”“科技感”成新风尚宝盈娱乐城ob体育下载华夏娱乐网亚投彩票官网首页
一人一句话评价NBA选手，孤舟广东清远：消防转移700余名受围困学生亚投彩票app平台永乐高App网址亿博体育官网登录最新国际标准针灸经络穴位挂图(女性真人版).epub
《传颂之物》新作双重发布，国乒男团3比0印度晋级八强（新春走基层）千年古城沿河老街“年味浓” 游客感受“烟雨江南”K8凯发外围官网爱体育app官网炸金花安卓ag最新网址
31岁网红俄罗斯娜娜去世，大学生改徒步去开封了抓住银发市场规模扩容重大机遇真人百家家乐杏彩网页注册平台bet9官方网址升博官方下载
曾经骂过的国足竟已是巅峰坚定自信，使这条路越走越宽广，一张图惹怒吧友学习·故事丨见证40余年中国情缘 习颁授他“001”号奖章九州体育在哪玩新濠天地竞彩官网ManBetx体育外围188体育维护
