7dc6
»úе֮Ðı¨µÀ ±à¼£ºPanda ÏÖÏÖÔÚ£¬Î¢Ðµ÷Ç¿»¯Ñ§Ï°µÈºóѵÁ·ÊÖÒÕÒѾ³ÉΪÌáÉý LLM ÄÜÁ¦µÄÖ÷ÒªÒªº¦¡£ ¿ËÈÕ£¬Ò»·ÝÎ§ÈÆ LLM ºóѵÁ·µÄ×ÛÊö±¨¸æÊÕ»ñÁ˲»ÉÙºÃÆÀ£¬ÆäÕûÀíÏà¹ØÂÛÎĺ͹¤¾ßµÄ×ÊÔ´¿âÒѾÊÕ»ñÁËÁè¼Ý 700 star¡£ ¸Ã×ÛÊöÀ´×Ô°¢ÁªÇõÈ˹¤ÖÇÄÜ´óѧ¡¢ÖзðÂÞÀï´ï´óѧ¡¢¹È¸è DeepMind ºÍÅ£½ò´óѧµÈ¶àËù»ú¹¹£¬º¸Çͨ¹ýÇ¿»¯Ñ§Ï°ÔöÇ¿ LLM µÄÊÖÒÕ¡¢¼àÊÓʽ΢µ÷¡¢²âÊÔʱÀ©Õ¹ÒÔ¼° LLM ºóѵÁ·»ù×¼ÆÀ¹ÀµÈÄÚÈÝ¡£ »úе֮ÐÄÔÚÏÂÃæ¼òÒªÕûÀíÁ˸Ã×ÛÊö±¨¸æµÄÄÚÈÝÖ÷¸É£¬¸ü¶àÏêÇéÇë»á¼ûÒÔÉÏÁ´½Ó¡£ ½üЩÄ꣬´óÐÍÓïÑÔÄ£×Ó£¨LLM£©µÄÄÜÁ¦ÔÚÒ»Ö±ÌáÉý£¬Ó¦ÓÃÁìÓòÒ²ÔÚ¼±ËÙÀ©Õ¹¡£Ö»¹ÜÔÆÔÆ£¬ÈÔÓÐÎÊÌâ±£´æ¡£ ºÃ±È LLM ¿ÉÄÜ·ºÆðËùνµÄ¡¸»Ã¾õ¡¹£¬¼´ÌìÉúÎóµ¼ÐÔÄÚÈÝ»ò²»×¼È·µÄÊÂʵ£»Ò²¿ÉÄÜÔڽϳ¤µÄ»á»°ÖÐÄÑÒÔ¼á³ÖÂß¼Ò»ÖÂÐÔ¡£±ðµÄ£¬LLM ÖеÄÍÆÀí¿´·¨ÈÔÈ»ÊÇÒ»¸ö±¸ÊÜÕùÂ۵ϰÌâ¡£ËäÈ»ÍÆÀíÄ£×Ó¿ÉÒÔ¸ø³ö¿´ËÆÂß¼Á¬¹áµÄÏìÓ¦£¬µ«ËüÃǵÄÍÆÀíÓëÈËÀàÄÇÑùµÄÂß¼ÍÆÀíÓÐ×Å»ù´¡µÄ²î±ð¡£ÕâÖÖÇø±ðÖÁ¹ØÖ÷Òª£¬ÓÉÓÚÕâÓÐÖúÓÚÚ¹ÊÍΪʲô LLM ËäÈ»¿ÉÒÔ±¬·¢ÁîÈËÐÅ·þµÄÊä³ö£¬µ«È´ÈÔÈ»»áÔÚÏà¶Ô¼òÆÓµÄÂ߼ʹÃüÉÏÓöµ½ÄÑÌâ¡£ ÓëʹÓÃÏÔʽ¹æÔòºÍÊÂʵµÄ·ûºÅÍÆÀí²î±ð£¬LLM ÒÔÒþʽºÍ¸ÅÂʵķ½·¨ÔËÐС£ÔÚÕâÆª×ÛÊö±¨¸æÖУ¬LLM µÄ¡¸ÍÆÀí£¨reasoning£©¡¹ÊÇÖ¸»ùÓÚÊý¾ÝÖеÄͳ¼ÆÄ£Ê½ÌìÉúÂß¼ÉÏÁ¬¹áµÄÏìÓ¦£¬¶ø²»ÊÇÏÔʽµÄÂß¼ÍÆÀí»ò·ûºÅ²Ù×÷¡£ ±ðµÄ£¬½öͨ¹ýÏÂÒ» token Õ¹ÍûѵÁ·»ñµÃµÄÄ£×Ó¿ÉÄÜÎÞ·¨ÓëÓû§µÄÆÚÍû»òÆ·µÂ±ê×¼¶ÔÆë£¬ÓÈÆäÊÇÔÚÄ£ºý»ò¶ñÒⳡ¾°ÖÐ ¡£ÕâЩÎÊÌâÅú×¢£¬ÎªÏàʶ¾ö LLM Êä³öÖеĿɿ¿ÐÔ¡¢Îó²îºÍÉÏÏÂÎÄÃô¸ÐÐÔÎÊÌ⣬»¹ÐèҪרÃŵÄÕ½ÂÔ¡£ LLM µÄѵÁ·Àú³Ì´óÖ¿ɷÖΪÁ½¸ö½×¶Î£º ԤѵÁ· ºÍ ºóѵÁ· ¡£ ԤѵÁ·½×¶Îͨ³£ÒÀÀµÔÚ´ó¹æÄ£ÓïÁÏ¿âÉϵÄÏÂÒ» token Õ¹ÍûÄ¿µÄ£¬ºóѵÁ·½×¶Îͨ³£Ôò°üÀ¨¶àÂÖ΢е÷¶ÔÆë¡£ºóѵÁ·»úÖÆµÄÄ¿µÄÊÇͨ¹ýÓÅ»¯Ä£×ÓÐÐΪÀ´Ë¢ÐÂÄ£×ÓÐÐΪÒÔ¼°ÊµÏÖÓëÈËÀàÒâͼµÄ¶ÔÆë£¨°üÀ¨ïÔÌ˽¼ûºÍ½û¾øÈ·¶È£©¡£ ÒªÈà LLM Ë³Ó¦ÌØ¶¨ÁìÓòµÄʹÃü£¬Í¨³£Éæ¼°µ½Î¢µ÷µÈÊÖÒÕ¡£ÕâЩÊÖÒÕËäÈ»¿ÉÒÔʵÏÖÕë¶ÔÏêϸʹÃüµÄѧϰ£¬µ«Ò²±£´æ¹ýÄâºÏµÄΣº¦£¬²¢ÇÒ»¹»á±¬·¢¸ßÅÌË㱾Ǯ¡£ ΪÏàʶ¾öÕâЩÄÑÌ⣬ǿ»¯Ñ§Ï°£¨RL£©±»ÒýÈë½øÀ´£»ÕâÄÜÈÃÄ£×ÓʹÓö¯Ì¬µÄ·´ÏìºÍÓÅ»¯ÐòÁоöÒéÀ´ÌáÉý˳ӦÄÜÁ¦¡£±ðµÄ£¬°üÀ¨µÍÖÈ˳Ӧ£¨LoRA£©¡¢ÊÊÅäÆ÷ºÍ¼ìË÷ÔöÇ¿ÌìÉú£¨RAG£©ÔÚÄÚµÄ scaling ÊÖÒÕÒ²¿ÉÌá¸ßÅÌËãЧÂʺÍÊÂʵ׼ȷÐÔ¡£ ÕâЩսÂÔ¼ÓÉÏÂþÑÜʽѵÁ·¿ò¼Ü£¬Ôö½øÁË´ó¹æÄ£°²ÅÅ£¬²¢½øÒ»²½Ìá¸ßÁË LLM ÔÚ²î±ðÓ¦ÓÃÖеĿÉÓÃÐÔ£¬¼ûÏÂͼ 1¡£Í¨¹ýÕâЩĿµÄÃ÷È·µÄºóѵÁ·ÊÖÒÕ£¬LLM ¿ÉÒÔ¸üºÃµØÓëÈËÀàÒâͼºÍÆ·µÂÂ×ÀíÒªÇó¶ÔÆë£¬×îÖÕÌá¸ßÆäÔÚÏÖʵÌìÏÂÖеÄÊÊÓÃÐÔ¡£ÏÂÃæ×ܽáÁËÒªº¦µÄºóѵÁ·½×¶Î¡£ ΢µ÷ ΢µ÷£¨Fine-Tuning£©ÊÇÈÃÒѾԤѵÁ·µÄ LLM ˳ӦÏêϸµÄʹÃü»òÁìÓò£¬Ïêϸ×ö·¨ÊÇ»ùÓÚ¾«Ñ¡Êý¾Ý¼¯À´¸üвÎÊý¡£ Ö»¹Ü¾ÓÉ´ó¹æÄ£Ô¤ÑµÁ·µÄ LLM ͨ³£¾ßÓкܺõķº»¯ÄÜÁ¦£¬µ«Î¢µ÷Ҳȷʵ¿ÉÒÔÔöÇ¿ÆäÔÚÏêϸʹÃüÉϵÄÄÜÁ¦£¬°üÀ¨ÇéÐ÷ÆÊÎö¡¢ÎÊ´ðºÍÒ½ÁÆÕï¶Ï¡£Õâ¸öÀú³Ìͨ³£ÊǼàÊÓʽµÄ£¬¿ÉÒÔʹģ×ÓÓëʹÃüÒªÇó¶ÔÆë£¬µ«Ò²»á´øÀ´¹ýÄâºÏ¡¢¸ßÅÌË㱾ǮºÍ¶ÔÊý¾ÝÎó²îµÄÃô¸ÐÐÔµÈÄÑÌâ¡£ Ϊ´Ë£¬LoRA ºÍÊÊÅäÆ÷µÈ²ÎÊý¸ßЧÐÍÊÖÒÕ¿Éͨ¹ý¸üÐÂÏÔʽ²ÎÊýÀ´Ñ§Ï°Ìض¨ÓÚʹÃüµÄ˳Ӧ£¬´Ó¶øÏÔÖøïÔÌÅÌË㿪Ïú¡£Ëæ×ÅÄ£×ÓµÄרҵ»¯£¬ËüÃÇ¿ÉÄÜ»áÔÚÁìÓòÍâ·º»¯·½ÃæÓöµ½ÄÑÌ⣬Ϊ´ËÐèҪȨºâ˼Á¿Ä£×ÓµÄרҵÐÔ»ò¶à¹¦Ð§ÐÔ¡£ Ç¿»¯Ñ§Ï° ÔڹŰåµÄÇ¿»¯Ñ§Ï°£¨Reinforcement Learning£©ÉèÖÃÖУ¬ÖÇÄÜÌåÐèÒªÓë½á¹¹»¯ÇéÐν»»¥£¬½ÓÄÉÀëÉ¢µÄÐж¯ÔÚ״̬֮¼äת»»£¬Í¬Ê±×î´ó»¯ÀÛ»ý½±Àø¡£ÊÊÓÃÇ¿»¯Ñ§Ï°µÄÁìÓò¶¼Ó¦¾ßÓнç˵ÓÅÒìµÄ״̬ - Ðж¯¿Õ¼äºÍÃ÷ÎúµÄÄ¿µÄ£¬ºÃ±È»úеÈË¡¢ÆåÅÌÓÎÏ·ºÍ¿ØÖÆÏµÍ³¡£ ¶ø LLM ÁìÓòµÄÇ¿»¯Ñ§Ï°Óкܴó²î±ð¡£LLM ²¢²»ÊÇ´ÓÒ»¸öÓÐÏÞµÄÐж¯¼¯ÖоÙÐÐѡȡ£¬¶øÊÇ´ÓÒ»¸öÖØ´ó´Ê»ã±íÖÐѡȡ token£¬¶øËüÃÇÒ»Ö±ÑݽøµÄ״̬ÔòÊÇÓÉÒ»Ö±ÔöÌíµÄÎı¾ÐòÁÐ×é³É¡£ÕâÑùÒ»À´£¬ÍýÏëºÍ credit ·ÖÅɾͻá±äµÃºÜÊÇÖØ´ó£¬ÓÉÓÚ token ѡȡµÄЧ¹ûͨ³£Òªµ½ºóÃæ²Å»áÕ¹ÏÖ¡£ ÁíÍ⣬»ùÓÚÓïÑÔµÄÇ¿»¯Ñ§Ï°Öеķ´Ïì±£´æÏ£º±¡¢Ö÷¹ÛºÍÑÓ³ÙµÄÌØµã£¬Òò´Ëͨ³£ÒÀÀµÓÚÆô·¢Ê½ÆÀ¹ÀºÍÓû§Æ«ºÃ£¬¶ø²»ÊÇÃ÷È·µÄÐÔÄÜÖ¸±ê¡£ ²î±ðÓÚͨ³£Õë¶Ôµ¥¸öÄ¿µÄ¾ÙÐÐÓÅ»¯µÄ¹Å°åÇ¿»¯Ñ§Ï°£¬LLM »¹±ØÐèÆ½ºâ¶à¸öÓÐʱÏ໥³åÍ»µÄÄ¿µÄ¡£½«»ùÓÚÀú³ÌµÄ½±Àø£¨ÀýÈ磬ͷÄÔÁ´ÍÆÀí£©Óë»ùÓÚЧ¹ûµÄÆÀ¹À£¨ÀýÈ磬ÏìÓ¦ÖÊÁ¿£©ÏàÍŽáµÄ»ìÏýÒªÁìÓÐÖúÓÚË¢ÐÂѧϰЧ¹û¡£Òò´Ë£¬LLM µÄÇ¿»¯Ñ§Ï°ÐèҪרÃŵÄÓÅ»¯ÊÖÒÕÀ´´¦Öóͷ£¸ßάÊä³ö¡¢·ÇÎÈ̬ĿµÄºÍÖØ´óµÄ½±Àø½á¹¹£¬È·±£ÏìÓ¦¼á³ÖÉÏÏÂÎÄÏà¹ØÐÔ²¢ÓëÓû§ÆÚÍû¶ÔÆë¡£ ¹æÄ£À©Õ¹ ¹æÄ£À©Õ¹£¨Scaling£©¹ØÓÚÌá¸ß LLM µÄÐÔÄܺÍЧÂÊÖÁ¹ØÖ÷Òª¡£ÕâÄÜ×ÊÖúÌáÉýÄ£×ÓÔÚʹÃüÉϵķº»¯ÐÔÄÜ£¬µ«Í¬Ê±Ò²»á´øÀ´ÏÔÖøµÄÅÌËãÌôÕ½¡£ÎªÁËÆ½ºâÐÔÄܺÍ×ÊԴЧÂÊ£¬ÐèÒªÔÚÍÆÀíʱ½ÓÄÉÓÐÕë¶ÔÐÔµÄÕ½ÂÔ¡£ Í·ÄÔÁ´£¨CoT£©ÍÆÀíºÍÍ·ÄÔÊ÷£¨ToT£©¿ò¼ÜµÈÊÖÒÕͨ¹ý½«ÖØ´óÎÊÌâÆÊÎöΪ˳Ðò»òÊ÷×´½á¹¹µÄ°ì·¨À´ÔöÇ¿¶à°ì·¨ÍÆÀí¡£±ðµÄ£¬»ùÓÚËÑË÷µÄÊÖÒÕ¿ÉÒÔµü´ú̽Ë÷¿ÉÄܵÄÊä³ö£¬×ÊÖúË¢ÐÂÏìÓ¦²¢È·±£¸ü¸ßµÄÊÂʵ׼ȷÐÔ¡£ÕâЩҪÁìÓë LoRA¡¢ÊÊÅäÆ÷ºÍ RAG µÈÒªÁìÏàÍŽᣬ¿ÉÒÔÌáÉýÄ£×Ó´¦Öóͷ£ÖØ´ó¡¢Ìض¨ÁìÓò´ó¹æÄ£Ê¹ÃüµÄÄÜÁ¦¡£ Ö»¹ÜÀ©Õ¹·½ÃæÇ°½øÆÄ¶à£¬µ«ÌôÕ½ÈÔÔÚ£¬ÀýÈçÊÕÒæµÝ¼õ¡¢ÍÆÀíʱ¼ä¸ü³¤ÒÔ¼°ÇéÐÎÓ°Ï죬ÓÈÆäÊÇÔÚ²âÊÔʱ¶ø²»ÊÇѵÁ·Ê±´úÖ´ÐÐËÑË÷ÊÖÒÕʱ¡£ÎªÁ˸ßÖÊÁ¿¡¢¸ßЧµØ°²ÅÅ LLM£¬È·±£¿É»á¼ûÐԺͿÉÐÐÐÔÊÇÖÁ¹ØÖ÷ÒªµÄ¡£ Åä¾°ÐÅÏ¢ ¸Ã×ÛÊö±¨¸æµÄµÚ¶þ²¿·Ö½éÉÜÁË LLM ºóѵÁ·Ïà¹ØµÄÅä¾°ÐÅÏ¢£¬ÆäÖаüÀ¨»ù´¡µÄÐÎʽ»¯ÐÎò¡¢»ùÓÚÇ¿»¯Ñ§Ï°µÄÐòÁÐÍÆÀí¡¢ÒÔ¼°ÓÃÓÚÓïÑÔ½¨Ä£µÄÔçÆÚÇ¿»¯Ñ§Ï°ÒªÁì¡£µ«ÕâÀïÎÒÃǾÍÂÔ¹ýÁË£¬Ïê¼ûÔ±¨¸æ¡£ ±í 1 ¸ÅÊöÁ˽üÆÚµÄÄ£×Ó£¬°üÀ¨ËüÃǵIJÎÊý¡¢¼Ü¹¹ÀàÐͺÍËù½ÓÄɵÄÕôÁó RL ÒªÁì¡£ ͼ 2 Ôò×ܽáÁË LLM µÄÍÆÀíÒªÁ죬ÆäÖÐչʾÁËͨ¹ýÍ·ÄÔÁ´£¨CoT£©ÌáÐÑ¡¢×ÔÎÒ·´ÏìºÍÇé¾°Ó°ÏóµÈÒªÁìÔöÇ¿ÍÆÀíÄÜÁ¦µÄ;¾¶¡£Í¬Ê±Ò²Í»³öչʾÁ˶àÖÖ»ùÓÚÇ¿»¯Ñ§Ï°µÄÓÅ»¯ÊÖÒÕ£¬°üÀ¨ GRPO¡¢RLHF¡¢DPO ºÍ RLAIF¡£ Ç¿»¯ LLM ´ÓÒªÁìÂ۵ĽǶÈÀ´¿´£¬ÎªÁ˽«Ç¿»¯Ñ§Ï°¼¯³Éµ½ LLM ÍÆÀíÖУ¬Í¨³£Òª×ñÕÕÒÔϽ¹µã°ì·¨£º 1¡¢¼àÊÓʽ΢µ÷£¨SFT£©£º´ÓԤѵÁ·ÓïÑÔÄ£×Ó×îÏÈ£¬ÔÚ°üÀ¨¸ßÖÊÁ¿¡¢È˹¤ÖÆ×÷µÄʾÀýÑù±¾µÄ¼àÊÓÊý¾Ý¼¯ÉÏ£¬¶ÔÄ£×Ó¾ÙÐÐ΢µ÷¡£´Ë½×¶Î¿ÉÈ·±£Ä£×Ó»ñµÃÇм°ÃûÌúÍÑùʽµÄ»ùÏß¡£ 2¡¢½±ÀøÄ£×Ó£¨RM£©ÑµÁ·£ºÍøÂç΢µ÷Ä£×ÓÌìÉúµÄÊä³ö²¢¾ÙÐÐÈ˹¤Æ«ºÃ±ê×¢¡£È»ºó¶Ô½±ÀøÄ£×Ó¾ÙÐÐѵÁ·ÒÔ¸´ÏÖÕâЩ»ùÓÚ±êÇ©µÄ·ÖÊý»òÅÅÃû£¬´Ó¶øÓÐÓõØÑ§Ï°½«ÏìÓ¦Îı¾Ó³Éäµ½±êÁ¿ÖµµÄÒ»Á¬½±Àøº¯Êý¡£ 3¡¢Ç¿»¯Ñ§Ï°Î¢µ÷£º×îºó£¬Í¨¹ýÕ½ÂÔÌݶÈËã·¨£¨ÀýÈç PPO£©ÓÅ»¯Ö÷ÓïÑÔÄ£×Ó£¬ÒÔ×î´ó»¯½±ÀøÄ£×ÓµÄÊä³ö¡£Í¨¹ýµü´ú´ËÑ»·£¬LLM ¿ÉѧϰÔÚ׼ȷÐÔ¡¢ÓÐÓÃÐÔºÍÆø¸ÅÁ¬¹áÐÔµÈÒªº¦Î¬¶ÈÉÏÌìÉúÈËÀà¸üÆ«ºÃµÄÏìÓ¦¡£ 4¡¢½±Àø½¨Ä£ºÍ¶ÔÆë£º¿ª·¢ÖØ´óµÄ½±Àøº¯Êý£¨½è¼øÈËÀàÆ«ºÃ¡¢¶Ô¿¹ÐÔ·´Ïì»ò×Ô¶¯»¯Ö¸±ê£©ÒÔÖ¸µ¼Ä£×Ó»ñµÃÁ¬¹á¡¢Çå¾²ÇÒÊÊÅäÉÏÏÂÎĵÄÊä³ö¡£ÎªÁËÔÚ¶à²½ÍÆÀíÀú³ÌÖÐÓÐÓ÷ÖÅÉ credit£¬ÕâЩ½±ÀøÖÁ¹ØÖ÷Òª¡£ ÔÚÔçÆÚ£¬½« LLM ÓëÈËÀàÆ«ºÃ¶ÔÆëµÄÇ¿»¯Ñ§Ï°Ëã·¨ÊǾµäËã·¨£¬ÀýÈç PPO ºÍÐÅÍÐÓòÕ½ÂÔÓÅ»¯£¨TRPO£©£¬ÕâЩËã·¨ÓÅ»¯Õ½ÂԵķ½·¨ÊÇ×î´ó»¯Ô¤ÆÚÀÛ»ý½±Àø£¬Í¬Ê±Í¨¹ýÖÇÄÜÌåÄ¿µÄº¯ÊýºÍ KL É¢¶ÈÕýÔò»¯¶ÔÕ½ÂÔ¸üÐÂÊ©¼ÓÔ¼Êø¡£ Õë¶Ô¿ÉÀ©Õ¹µÄ»ùÓÚÆ«ºÃµÄÓÅ»¯£¬ÒѾ·ºÆðÁËÕâЩҪÁìµÄˢаæÌæ»»¼Æ»®£¬ÀýÈçÖ±½ÓÆ«ºÃÓÅ»¯£¨DPO£©ºÍ×éÏà¶ÔÕ½ÂÔÓÅ»¯£¨GRPO£©¡£ÕâЩҪÁìÊǽ«¶ÔÆëÄ¿µÄÖØÐ±íÊöΪ»ùÓÚÈËÀà±ê×¢µÄÆ«ºÃÊý¾ÝµÄÅÅÃûʽ±ÈÕÕËðʧº¯Êý¡£ ²î±ðÓÚÒÀÀµÏÔʽ½±ÀøÄ£×ÓºÍÆÀ¼ÛÍøÂçµÄ PPO ºÍ TRPO£¬DPO ºÍ GRPO »®·ÖʹÓöÔÊýËÆÈ»±ÈºÍ×é½±Àø½ÏÁ¿À´Ö±½ÓÓÅ»¯Õ½ÂÔ£¬´Ó¶øÎÞÐèÏÔʽ¼ÛÖµº¯Êý½üËÆ£¬Í¬Ê±»¹Äܱ£´æÆ«ºÃÒ»ÖµÄѧϰ¶¯Ì¬¡£ ÕâÒ»½ÚÉæ¼°µÄÏêϸÄÚÈÝÈçÏ£º ½±Àø½¨Ä£ Õ½ÂÔÓÅ»¯ ͼ 3 ¸ø³öÁË PPO¡¢GRPO ºÍ DPO µÄ½ÏÁ¿¡£ »ùÓÚ´¿Ç¿»¯Ñ§Ï°µÄ LLM ΢µ÷ ͼ 4 µÄά¶÷ͼ˵Ã÷ÎúÔÚʵÏÖ¸ßЧµÄ΢е÷°²ÅÅʱ£¬ÏµÍ³¡¢Êý¾ÝºÍÄ£×ÓÖ®¼äµÄÏ໥×÷Óá£Ëüº¸ÇÁËÓÃÒÔÌáÉýÐÔÄܺͿÉÀ©Õ¹ÐԵļÓËÙÆ÷£¨Groq¡¢vLLM£©¡¢Ë³Ó¦Æ÷£¨LoRA¡¢PEFT£©¡¢ÅäºÏÓÅ»¯¼Ü¹¹£¨FlashAttention£©¡¢Êý¾ÝѹËõ£¨TokenMerging£©¡¢Scaling Law£¨Chinchilla£©ºÍÄ£×ÓѹËõ£¨GPTQ£©µÈÕ½ÂÔ¡£ LLM ÖеļàÊÓ΢µ÷ Èçͼ 2 Ëùʾ£¬Î¢µ÷ÊÇ LLM ºóѵÁ·Åä·½µÄ»ù±¾×é³É²¿·Ö¡£ÕâÒ»½Ú×ܽáÁ˲î±ðÀàÐ굀 LLM ΢µ÷»úÖÆ£¬Ïêϸ°üÀ¨£º ϱí¹éÄÉ×ÛºÏÐÔµØ×ܽáÁËÏÖ´úµÄ LLM ¿ò¼ÜºÍÒªÁì¡£ ²âÊÔʱÀ©Õ¹ÒªÁì Ç¿»¯Ñ§Ï°Î¢µ÷µÄÊÇÄ£×ÓµÄÕ½ÂÔ£¬¶ø²âÊÔʱÀ©Õ¹£¨TTS£©Í¨³£ÊÇÔÚÍÆÀíÀú³ÌÖÐÔöǿģ×ÓµÄÄÜÁ¦£¬Õâ¸öÀú³ÌÎÞÐè¸üÐÂÄ£×Ó¡£Í¼ 5 ¸ø³öÁË TTS ÒªÁìµÄ·ÖÀàÇéÐÎ ¡ª¡ª »ùÓÚÆäµ×²ãÊÖÒÕ¾ÙÐÐÁË·ÖÀà¡£ ÏêϸÀ´Ëµ£¬°üÀ¨ÒÔÏÂÊÖÒÕ£º ͼ 6 Ôò½ÏÁ¿ÁË LLM µÄÍÆÀíÕ½ÂÔ£¬´ÓÖ±½ÓÌáÐÑ·¨£¨²»Ê¹ÓÃÍÆÀíµØ½«ÊäÈëÓ³Éäµ½Êä³ö£©µ½¸ü½á¹¹»¯µÄÒªÁì¡£ Í·ÄÔÁ´£¨CoT£©ÒýÈëÁËÖð²½ÍÆÀí£¬¶ø×ÔÎÒÒ»ÖÂÐÔ£¨CoT-SC£©ÔòÊÇÌìÉú¶à¸ö CoT ·¾¶²¢Ñ¡Ôñ×î³£·ºÆðµÄÃյס£Mutiple CoT »á×ÔÁ¦Ì½Ë÷²î±ðµÄÍÆÀí·¾¶¡£Í·ÄÔÊ÷£¨ToT£©ÔòÊǽ«ÍÆÀí½á¹¹ÎªÊ÷£¬´Ó¶øÊµÏÖ»ØËݺÍϸ»¯£¬¶øÍ·ÄÔͼÆ×£¨GoT£©ÔòÊÇͨ¹ý¶ÔÍ·ÄÔ¾ÙÐж¯Ì¬¾ÛºÏºÍÅþÁ¬À´ÊµÏÖÕâÒ»µã¡£ LLM ºóѵÁ·ÆÀ¹À»ù×¼ ΪÁËÆÀ¹À LLM ºóѵÁ·½×¶ÎµÄÌåÏÖ£¬ÈËÃÇÒѾÌá³öÁËÐí¶àÉæ¼°¶à¸öÁìÓòµÄ»ù×¼£º ½á¹¹ÓÅÒìµÄÆÀ¹À¿ò¼Ü¿ÉÈ·±£ÖÜÈ«Ïàʶ LLM ÔÚÖÖÖÖʹÃüÖеÄÓÅÊÆºÍ¾ÖÏÞÐÔ¡£ ÕâЩ»ù×¼ÔÚ LLM ºó´¦Öóͷ£½×¶ÎÆð×ÅÖÁ¹ØÖ÷ÒªµÄ×÷Óã¬Ä£×ÓÔڴ˽׶ξÓÉ΢µ÷¡¢Ð£×¼¡¢¶ÔÆëºÍÓÅ»¯£¬¿ÉÒÔÌá¸ßÏìӦ׼ȷÐÔ¡¢ÎȽ¡ÐÔºÍÆ·µÂºÏ¹æÐÔ¡£±¾½Ú·Ö×é½éÉÜÁËÖ÷Á÷µÄ»ù×¼¡£±í 3 ¸ÅÊöÁËÕâЩ»ù×¼·Ö×éϵÄÒªº¦Êý¾Ý¼¯¡£ δÀ´Æ«Ïò ×îºó£¬×÷ÕßÍŶӻ¹ÍøÂçÁËÓë LLM ºóѵÁ·ÒªÁìÏà¹ØµÄÂÛÎIJ¢ÆÊÎöÁËËüÃǵÄÇ÷ÊÆ£¬Èçͼ 7 Ëùʾ¡£ ¿ÉÒÔ¿´µ½£¬×Ô 2020 ÄêÒÔÀ´£¬Ç¿»¯Ñ§Ï°ÔÚÓÅ»¯ LLM ·½ÃæµÄְλÓÐÁËÏÔÖøÌáÉý£¨Í¼ 7a£©£¬ÆäÖл¹Í»³öÁ˶Խ»»¥Ê½ÒªÁìµÄÐèÇó£¬ÀýÈçÈË»ú½»»¥Ç¿»¯ºÍ¿ÉÀ©Õ¹ÐÔ¡£ Óë´Ëͬʱ£¬ÓÉÓÚ×ÔÎÒ½±ÀøÓïÑÔÄ£×ӵķºÆð£¬ÈËÃǶԽ±Àø½¨Ä££¨Í¼ 7b£©µÄÐËȤҲÔÚÎȲ½ÉÏÉý£¬µ«¸ÃÁìÓòÈÔÔÚÆð¾¢Ó¦¶Ô½±Àø hacking ÎÊÌ⣬ÒÔ¼°Éè¼Æ½â¾ö½±Àø hacking µÄÎȽ¡ÐÍ¡¢¿É¸ÐÖªÎÊÌâµÄ½±Àøº¯Êý¡£ ½âÂëºÍËÑË÷£¨Í¼ 7c£©ÒªÁì°üÀ¨Í·ÄÔºÍÃÉÌØ¿¨ÂåÕ½ÂÔ£¬ÆäÄ¿µÄÊÇͨ¹ýµü´ú×ÔÎÒÆ·ÆÀÀ´Ôöǿģ×ÓÍÆÀíÄÜÁ¦£¬µ«ÕâЩÊÖÒÕÒ²ÐèÒª¿É¿¿µÄ²»È·¶¨ÐÔÔ¤¼ÆÆ÷£¬ÒÔ±ÜÃâÅÌË㿪Ïú¹ý¸ß¡£ Çå¾²ÐÔ¡¢ÎȽ¡ÐԺͿÉÚ¹ÊÍÐÔͬÑùÒѳÉΪ½¹µã¹Ø×¢µã£¨Í¼ 7d£©£¬Õâ¸öÆ«ÏòµÄÑо¿ÕßÍÆ¶¯ÁË˽¼û¸ÐÖªÐͺͲ»È·¶¨ÐÔ¸ÐÖªÐÍÇ¿»¯Ñ§Ï°ÒªÁìµÄÉú³¤£¬ÕâЩҪÁìÓâÔ½ÁËÓëÈËÀ಻ȷ¶¨ÐÔµÄÏà¹ØÐÔ£¬¿ÉÒÔά»¤Óû§ÐÅÍв¢±ÜÃâ¶Ô¿¹ÐÔ¹¥»÷¡£ ¸öÐÔ»¯ºÍ˳ӦÐÔ£¨Í¼ 7e£©Ò²ÊÇÒªº¦ÁìÓò ¡ª¡ª ÔÚÎªÌØ¶¨ÁìÓò¶¨ÖÆ LLM ʱ£¬±ØÐèȨºâ˼Á¿Òþ˽Σº¦£¬ÌØÊâÊÇÉæ¼°ÆóÒµÊý¾Ý»òÃô¸ÐСÎÒ˽¼ÒÐÅϢʱ¡£ Óë´Ëͬʱ£¬Àú³ÌÓëЧ¹û½±ÀøÓÅ»¯£¨Í¼ 7f£©ÈÔÈ»ÊÇÒ»¸öÐü¶øÎ´¾öµÄÎÊÌ⣺ËäÈ»»ùÓÚÀú³ÌµÄ½±ÀøÓÐÖúÓÚÖ¸µ¼½¥½øÊ½Ë¢Ð£¬µ«ÒÔЧ¹ûΪÖÐÐĵÄÖ¸±ê¸ü¼òÆÓ£¬µ«¿ÉÄÜÎÞ·¨²¶»ñÒªº¦µÄÖÐÐľöÒé°ì·¨¡£ ³ýÁ˽±Àø½á¹¹Ö®Í⣬Õë¶ÔÐÂʹÃü΢µ÷ LLM ʱÈÔÈ»»áÓöµ½ÔÖÄÑÐÔÒÅÍüºÍDZÔÚµÄÊý¾Ýй¶µÈÎÊÌ⣬Õâ¾Í͹ÏÔÁ˶ԲÎÊý¸ßЧÐÍÒªÁìºÍÒþ˽±£»¤Õ½ÂÔ£¨Èç²î·ÖÒþ˽ºÍÁª°îѧϰ£©µÄÐèÇó¡£ È˹¤·´ÏìËäÈ»ÊÇ¶ÔÆëµÄ½¹µã£¬µ«Æä±¾Ç®¸ß°ºÇÒ¹æÄ£ÓÐÏÞ£»Constitutional AI ºÍ RLAIF µÈÒªÁìÏ£ÍûʵÏÖ²¿·Ö¼àÊÓµÄ×Ô¶¯»¯£¬Ö»¹ÜËüÃÇÒ²Òý·¢ÁËÈËÃǶÔÎó²îУ׼ºÍÄ£×Ó×ÔÇ¢ÐÔµÄе£ÐÄ¡£ ×îºó£¬²âÊÔʱÀ©Õ¹ºÍ¶¯Ì¬ÍÆÀí¿ò¼ÜÒ²´øÀ´Á˽øÒ»²½µÄÌôÕ½£ºÄ£×Ó±ØÐèѧϰºÎÊ±ÎªÖØ´óÅÌÎÊ·ÖÅɸü¶àÅÌË㣬ÔõÑùÓÐÓõص÷½âÑé֤ģ¿é£¬ÒÔ¼°ÔõÑùÔÚÃæÁÙ¶Ô¿¹ÐÔÊäÈëʱ¼á³ÖÎȽ¡µÄÐÔÄÜ¡£ÕâЩÈںϵÄÑо¿Æ«Ïò£¨º¸Ç½±Àø½¨Ä£¡¢½âÂëÕ½ÂÔ¡¢¿ÉÚ¹ÊÍÐÔ¡¢¸öÐÔ»¯ºÍÇ徲΢µ÷£©Í¹ÏÔÁËÇ¿»¯Ñ§Ï°ÔÚ LLM ÖÐ×÷ÓõĶàÑùÐÔ£¬²¢ÅäºÏËÜÔìÁË´ó¹æÄ£ÓïÑÔÄ£×Ó¿ª·¢µÄδÀ´¹ì¼£¡£