7dc6
2025/05/04 19:06:02 2,172´Îä¯ÀÀ

»úе֮Ðı¨µÀ

±à¼­£ºPanda

ÏÖÏÖÔÚ£¬Î¢Ð­µ÷Ç¿»¯Ñ§Ï°µÈºóѵÁ·ÊÖÒÕÒѾ­³ÉΪÌáÉý LLM ÄÜÁ¦µÄÖ÷ÒªÒªº¦ ¡£

¿ËÈÕ£¬Ò»·ÝÎ§ÈÆ LLM ºóѵÁ·µÄ×ÛÊö±¨¸æÊÕ»ñÁ˲»ÉÙºÃÆÀ£¬ÆäÕûÀíÏà¹ØÂÛÎĺ͹¤¾ßµÄ×ÊÔ´¿âÒѾ­ÊÕ»ñÁËÁè¼Ý 700 star ¡£

¸Ã×ÛÊöÀ´×Ô°¢ÁªÇõÈ˹¤ÖÇÄÜ´óѧ¡¢ÖзðÂÞÀï´ï´óѧ¡¢¹È¸è DeepMind ºÍÅ£½ò´óѧµÈ¶àËù»ú¹¹£¬º­¸Çͨ¹ýÇ¿»¯Ñ§Ï°ÔöÇ¿ LLM µÄÊÖÒÕ¡¢¼àÊÓʽ΢µ÷¡¢²âÊÔʱÀ©Õ¹ÒÔ¼° LLM ºóѵÁ·»ù×¼ÆÀ¹ÀµÈÄÚÈÝ ¡£

»úе֮ÐÄÔÚÏÂÃæ¼òÒªÕûÀíÁ˸Ã×ÛÊö±¨¸æµÄÄÚÈÝÖ÷¸É£¬¸ü¶àÏêÇéÇë»á¼ûÒÔÉÏÁ´½Ó ¡£

½üЩÄ꣬´óÐÍÓïÑÔÄ£×Ó£¨LLM£©µÄÄÜÁ¦ÔÚÒ»Ö±ÌáÉý£¬Ó¦ÓÃÁìÓòÒ²ÔÚ¼±ËÙÀ©Õ¹ ¡£Ö»¹ÜÔÆÔÆ£¬ÈÔÓÐÎÊÌâ±£´æ ¡£

ºÃ±È LLM ¿ÉÄÜ·ºÆðËùνµÄ¡¸»Ã¾õ¡¹£¬¼´ÌìÉúÎóµ¼ÐÔÄÚÈÝ»ò²»×¼È·µÄÊÂʵ £»Ò²¿ÉÄÜÔڽϳ¤µÄ»á»°ÖÐÄÑÒÔ¼á³ÖÂß¼­Ò»ÖÂÐÔ ¡£±ðµÄ£¬LLM ÖеÄÍÆÀí¿´·¨ÈÔÈ»ÊÇÒ»¸ö±¸ÊÜÕùÂ۵ϰÌâ ¡£ËäÈ»ÍÆÀíÄ£×Ó¿ÉÒÔ¸ø³ö¿´ËÆÂß¼­Á¬¹áµÄÏìÓ¦£¬µ«ËüÃǵÄÍÆÀíÓëÈËÀàÄÇÑùµÄÂß¼­ÍÆÀíÓÐ×Å»ù´¡µÄ²î±ð ¡£ÕâÖÖÇø±ðÖÁ¹ØÖ÷Òª£¬ÓÉÓÚÕâÓÐÖúÓÚÚ¹ÊÍΪʲô LLM ËäÈ»¿ÉÒÔ±¬·¢ÁîÈËÐÅ·þµÄÊä³ö£¬µ«È´ÈÔÈ»»áÔÚÏà¶Ô¼òÆÓµÄÂß¼­Ê¹ÃüÉÏÓöµ½ÄÑÌâ ¡£

ÓëʹÓÃÏÔʽ¹æÔòºÍÊÂʵµÄ·ûºÅÍÆÀí²î±ð£¬LLM ÒÔÒþʽºÍ¸ÅÂʵķ½·¨ÔËÐÐ ¡£ÔÚÕâÆª×ÛÊö±¨¸æÖУ¬LLM µÄ¡¸ÍÆÀí£¨reasoning£©¡¹ÊÇÖ¸»ùÓÚÊý¾ÝÖеÄͳ¼ÆÄ£Ê½ÌìÉúÂß¼­ÉÏÁ¬¹áµÄÏìÓ¦£¬¶ø²»ÊÇÏÔʽµÄÂß¼­ÍÆÀí»ò·ûºÅ²Ù×÷ ¡£

±ðµÄ£¬½öͨ¹ýÏÂÒ» token Õ¹ÍûѵÁ·»ñµÃµÄÄ£×Ó¿ÉÄÜÎÞ·¨ÓëÓû§µÄÆÚÍû»òÆ·µÂ±ê×¼¶ÔÆë£¬ÓÈÆäÊÇÔÚÄ£ºý»ò¶ñÒⳡ¾°ÖÐ  ¡£ÕâЩÎÊÌâÅú×¢£¬ÎªÏàʶ¾ö LLM Êä³öÖеĿɿ¿ÐÔ¡¢Îó²îºÍÉÏÏÂÎÄÃô¸ÐÐÔÎÊÌ⣬»¹ÐèҪרÃŵÄÕ½ÂÔ ¡£

LLM µÄѵÁ·Àú³Ì´óÖ¿ɷÖΪÁ½¸ö½×¶Î£º ԤѵÁ· ºÍ ºóѵÁ·  ¡£

ԤѵÁ·½×¶Îͨ³£ÒÀÀµÔÚ´ó¹æÄ£ÓïÁÏ¿âÉϵÄÏÂÒ» token Õ¹ÍûÄ¿µÄ£¬ºóѵÁ·½×¶Îͨ³£Ôò°üÀ¨¶àÂÖ΢Эµ÷¶ÔÆë ¡£ºóѵÁ·»úÖÆµÄÄ¿µÄÊÇͨ¹ýÓÅ»¯Ä£×ÓÐÐΪÀ´Ë¢ÐÂÄ£×ÓÐÐΪÒÔ¼°ÊµÏÖÓëÈËÀàÒâͼµÄ¶ÔÆë£¨°üÀ¨ïÔ̭˽¼ûºÍ½û¾øÈ·¶È£© ¡£

ÒªÈà LLM Ë³Ó¦ÌØ¶¨ÁìÓòµÄʹÃü£¬Í¨³£Éæ¼°µ½Î¢µ÷µÈÊÖÒÕ ¡£ÕâЩÊÖÒÕËäÈ»¿ÉÒÔʵÏÖÕë¶ÔÏêϸʹÃüµÄѧϰ£¬µ«Ò²±£´æ¹ýÄâºÏµÄΣº¦£¬²¢ÇÒ»¹»á±¬·¢¸ßÅÌË㱾Ǯ ¡£

ΪÏàʶ¾öÕâЩÄÑÌ⣬ǿ»¯Ñ§Ï°£¨RL£©±»ÒýÈë½øÀ´ £»ÕâÄÜÈÃÄ£×ÓʹÓö¯Ì¬µÄ·´ÏìºÍÓÅ»¯ÐòÁоöÒéÀ´ÌáÉý˳ӦÄÜÁ¦ ¡£±ðµÄ£¬°üÀ¨µÍÖÈ˳Ӧ£¨LoRA£©¡¢ÊÊÅäÆ÷ºÍ¼ìË÷ÔöÇ¿ÌìÉú£¨RAG£©ÔÚÄÚµÄ scaling ÊÖÒÕÒ²¿ÉÌá¸ßÅÌËãЧÂʺÍÊÂʵ׼ȷÐÔ ¡£

ÕâЩսÂÔ¼ÓÉÏÂþÑÜʽѵÁ·¿ò¼Ü£¬Ôö½øÁË´ó¹æÄ£°²ÅÅ£¬²¢½øÒ»²½Ìá¸ßÁË LLM ÔÚ²î±ðÓ¦ÓÃÖеĿÉÓÃÐÔ£¬¼ûÏÂͼ 1 ¡£Í¨¹ýÕâЩĿµÄÃ÷È·µÄºóѵÁ·ÊÖÒÕ£¬LLM ¿ÉÒÔ¸üºÃµØÓëÈËÀàÒâͼºÍÆ·µÂÂ×ÀíÒªÇó¶ÔÆë£¬×îÖÕÌá¸ßÆäÔÚÏÖʵÌìÏÂÖеÄÊÊÓÃÐÔ ¡£ÏÂÃæ×ܽáÁËÒªº¦µÄºóѵÁ·½×¶Î ¡£

΢µ÷

΢µ÷£¨Fine-Tuning£©ÊÇÈÃÒѾ­Ô¤ÑµÁ·µÄ LLM ˳ӦÏêϸµÄʹÃü»òÁìÓò£¬Ïêϸ×ö·¨ÊÇ»ùÓÚ¾«Ñ¡Êý¾Ý¼¯À´¸üвÎÊý ¡£

Ö»¹Ü¾­ÓÉ´ó¹æÄ£Ô¤ÑµÁ·µÄ LLM ͨ³£¾ßÓкܺõķº»¯ÄÜÁ¦£¬µ«Î¢µ÷Ҳȷʵ¿ÉÒÔÔöÇ¿ÆäÔÚÏêϸʹÃüÉϵÄÄÜÁ¦£¬°üÀ¨ÇéÐ÷ÆÊÎö¡¢ÎÊ´ðºÍÒ½ÁÆÕï¶Ï ¡£Õâ¸öÀú³Ìͨ³£ÊǼàÊÓʽµÄ£¬¿ÉÒÔʹģ×ÓÓëʹÃüÒªÇó¶ÔÆë£¬µ«Ò²»á´øÀ´¹ýÄâºÏ¡¢¸ßÅÌË㱾ǮºÍ¶ÔÊý¾ÝÎó²îµÄÃô¸ÐÐÔµÈÄÑÌâ ¡£

Ϊ´Ë£¬LoRA ºÍÊÊÅäÆ÷µÈ²ÎÊý¸ßЧÐÍÊÖÒÕ¿Éͨ¹ý¸üÐÂÏÔʽ²ÎÊýÀ´Ñ§Ï°Ìض¨ÓÚʹÃüµÄ˳Ӧ£¬´Ó¶øÏÔÖøïÔÌ­ÅÌË㿪Ïú ¡£Ëæ×ÅÄ£×ÓµÄרҵ»¯£¬ËüÃÇ¿ÉÄÜ»áÔÚÁìÓòÍâ·º»¯·½ÃæÓöµ½ÄÑÌ⣬Ϊ´ËÐèҪȨºâ˼Á¿Ä£×ÓµÄרҵÐÔ»ò¶à¹¦Ð§ÐÔ ¡£

Ç¿»¯Ñ§Ï°

ÔڹŰåµÄÇ¿»¯Ñ§Ï°£¨Reinforcement Learning£©ÉèÖÃÖУ¬ÖÇÄÜÌåÐèÒªÓë½á¹¹»¯ÇéÐν»»¥£¬½ÓÄÉÀëÉ¢µÄÐж¯ÔÚ״̬֮¼äת»»£¬Í¬Ê±×î´ó»¯ÀÛ»ý½±Àø ¡£ÊÊÓÃÇ¿»¯Ñ§Ï°µÄÁìÓò¶¼Ó¦¾ßÓнç˵ÓÅÒìµÄ״̬ - Ðж¯¿Õ¼äºÍÃ÷ÎúµÄÄ¿µÄ£¬ºÃ±È»úеÈË¡¢ÆåÅÌÓÎÏ·ºÍ¿ØÖÆÏµÍ³ ¡£

¶ø LLM ÁìÓòµÄÇ¿»¯Ñ§Ï°Óкܴó²î±ð ¡£LLM ²¢²»ÊÇ´ÓÒ»¸öÓÐÏÞµÄÐж¯¼¯ÖоÙÐÐѡȡ£¬¶øÊÇ´ÓÒ»¸öÖØ´ó´Ê»ã±íÖÐѡȡ token£¬¶øËüÃÇÒ»Ö±ÑݽøµÄ״̬ÔòÊÇÓÉÒ»Ö±ÔöÌíµÄÎı¾ÐòÁÐ×é³É ¡£ÕâÑùÒ»À´£¬ÍýÏëºÍ credit ·ÖÅɾͻá±äµÃºÜÊÇÖØ´ó£¬ÓÉÓÚ token ѡȡµÄЧ¹ûͨ³£Òªµ½ºóÃæ²Å»áÕ¹ÏÖ ¡£

ÁíÍ⣬»ùÓÚÓïÑÔµÄÇ¿»¯Ñ§Ï°Öеķ´Ïì±£´æÏ£º±¡¢Ö÷¹ÛºÍÑÓ³ÙµÄÌØµã£¬Òò´Ëͨ³£ÒÀÀµÓÚÆô·¢Ê½ÆÀ¹ÀºÍÓû§Æ«ºÃ£¬¶ø²»ÊÇÃ÷È·µÄÐÔÄÜÖ¸±ê ¡£

²î±ðÓÚͨ³£Õë¶Ôµ¥¸öÄ¿µÄ¾ÙÐÐÓÅ»¯µÄ¹Å°åÇ¿»¯Ñ§Ï°£¬LLM »¹±ØÐèÆ½ºâ¶à¸öÓÐʱÏ໥³åÍ»µÄÄ¿µÄ ¡£½«»ùÓÚÀú³ÌµÄ½±Àø£¨ÀýÈ磬ͷÄÔÁ´ÍÆÀí£©Óë»ùÓÚЧ¹ûµÄÆÀ¹À£¨ÀýÈ磬ÏìÓ¦ÖÊÁ¿£©ÏàÍŽáµÄ»ìÏýÒªÁìÓÐÖúÓÚË¢ÐÂѧϰЧ¹û ¡£Òò´Ë£¬LLM µÄÇ¿»¯Ñ§Ï°ÐèҪרÃŵÄÓÅ»¯ÊÖÒÕÀ´´¦Öóͷ£¸ßάÊä³ö¡¢·ÇÎÈ̬ĿµÄºÍÖØ´óµÄ½±Àø½á¹¹£¬È·±£ÏìÓ¦¼á³ÖÉÏÏÂÎÄÏà¹ØÐÔ²¢ÓëÓû§ÆÚÍû¶ÔÆë ¡£

¹æÄ£À©Õ¹

¹æÄ£À©Õ¹£¨Scaling£©¹ØÓÚÌá¸ß LLM µÄÐÔÄܺÍЧÂÊÖÁ¹ØÖ÷Òª ¡£ÕâÄÜ×ÊÖúÌáÉýÄ£×ÓÔÚʹÃüÉϵķº»¯ÐÔÄÜ£¬µ«Í¬Ê±Ò²»á´øÀ´ÏÔÖøµÄÅÌËãÌôÕ½ ¡£ÎªÁËÆ½ºâÐÔÄܺÍ×ÊԴЧÂÊ£¬ÐèÒªÔÚÍÆÀíʱ½ÓÄÉÓÐÕë¶ÔÐÔµÄÕ½ÂÔ ¡£

Í·ÄÔÁ´£¨CoT£©ÍÆÀíºÍÍ·ÄÔÊ÷£¨ToT£©¿ò¼ÜµÈÊÖÒÕͨ¹ý½«ÖØ´óÎÊÌâÆÊÎöΪ˳Ðò»òÊ÷×´½á¹¹µÄ°ì·¨À´ÔöÇ¿¶à°ì·¨ÍÆÀí ¡£±ðµÄ£¬»ùÓÚËÑË÷µÄÊÖÒÕ¿ÉÒÔµü´ú̽Ë÷¿ÉÄܵÄÊä³ö£¬×ÊÖúË¢ÐÂÏìÓ¦²¢È·±£¸ü¸ßµÄÊÂʵ׼ȷÐÔ ¡£ÕâЩҪÁìÓë LoRA¡¢ÊÊÅäÆ÷ºÍ RAG µÈÒªÁìÏà͎ᣬ¿ÉÒÔÌáÉýÄ£×Ó´¦Öóͷ£ÖØ´ó¡¢Ìض¨ÁìÓò´ó¹æÄ£Ê¹ÃüµÄÄÜÁ¦ ¡£

Ö»¹ÜÀ©Õ¹·½ÃæÇ°½øÆÄ¶à£¬µ«ÌôÕ½ÈÔÔÚ£¬ÀýÈçÊÕÒæµÝ¼õ¡¢ÍÆÀíʱ¼ä¸ü³¤ÒÔ¼°ÇéÐÎÓ°Ï죬ÓÈÆäÊÇÔÚ²âÊÔʱ¶ø²»ÊÇѵÁ·Ê±´úÖ´ÐÐËÑË÷ÊÖÒÕʱ ¡£ÎªÁ˸ßÖÊÁ¿¡¢¸ßЧµØ°²ÅÅ LLM£¬È·±£¿É»á¼ûÐԺͿÉÐÐÐÔÊÇÖÁ¹ØÖ÷ÒªµÄ ¡£

Åä¾°ÐÅÏ¢

¸Ã×ÛÊö±¨¸æµÄµÚ¶þ²¿·Ö½éÉÜÁË LLM ºóѵÁ·Ïà¹ØµÄÅä¾°ÐÅÏ¢£¬ÆäÖаüÀ¨»ù´¡µÄÐÎʽ»¯ÐÎò¡¢»ùÓÚÇ¿»¯Ñ§Ï°µÄÐòÁÐÍÆÀí¡¢ÒÔ¼°ÓÃÓÚÓïÑÔ½¨Ä£µÄÔçÆÚÇ¿»¯Ñ§Ï°ÒªÁì ¡£µ«ÕâÀïÎÒÃǾÍÂÔ¹ýÁË£¬Ïê¼ûÔ­±¨¸æ ¡£

±í 1 ¸ÅÊöÁ˽üÆÚµÄÄ£×Ó£¬°üÀ¨ËüÃǵIJÎÊý¡¢¼Ü¹¹ÀàÐͺÍËù½ÓÄɵÄÕôÁó RL ÒªÁì ¡£

ͼ 2 Ôò×ܽáÁË LLM µÄÍÆÀíÒªÁ죬ÆäÖÐչʾÁËͨ¹ýÍ·ÄÔÁ´£¨CoT£©ÌáÐÑ¡¢×ÔÎÒ·´ÏìºÍÇé¾°Ó°ÏóµÈÒªÁìÔöÇ¿ÍÆÀíÄÜÁ¦µÄ;¾¶ ¡£Í¬Ê±Ò²Í»³öչʾÁ˶àÖÖ»ùÓÚÇ¿»¯Ñ§Ï°µÄÓÅ»¯ÊÖÒÕ£¬°üÀ¨ GRPO¡¢RLHF¡¢DPO ºÍ RLAIF ¡£

Ç¿»¯ LLM

´ÓÒªÁìÂ۵ĽǶÈÀ´¿´£¬ÎªÁ˽«Ç¿»¯Ñ§Ï°¼¯³Éµ½ LLM ÍÆÀíÖУ¬Í¨³£Òª×ñÕÕÒÔϽ¹µã°ì·¨£º

1¡¢¼àÊÓʽ΢µ÷£¨SFT£©£º´ÓԤѵÁ·ÓïÑÔÄ£×Ó×îÏÈ£¬ÔÚ°üÀ¨¸ßÖÊÁ¿¡¢È˹¤ÖÆ×÷µÄʾÀýÑù±¾µÄ¼àÊÓÊý¾Ý¼¯ÉÏ£¬¶ÔÄ£×Ó¾ÙÐÐ΢µ÷ ¡£´Ë½×¶Î¿ÉÈ·±£Ä£×Ó»ñµÃÇм°ÃûÌúÍÑùʽµÄ»ùÏß ¡£

2¡¢½±ÀøÄ£×Ó£¨RM£©ÑµÁ·£ºÍøÂç΢µ÷Ä£×ÓÌìÉúµÄÊä³ö²¢¾ÙÐÐÈ˹¤Æ«ºÃ±ê×¢ ¡£È»ºó¶Ô½±ÀøÄ£×Ó¾ÙÐÐѵÁ·ÒÔ¸´ÏÖÕâЩ»ùÓÚ±êÇ©µÄ·ÖÊý»òÅÅÃû£¬´Ó¶øÓÐÓõØÑ§Ï°½«ÏìÓ¦Îı¾Ó³Éäµ½±êÁ¿ÖµµÄÒ»Á¬½±Àøº¯Êý ¡£

3¡¢Ç¿»¯Ñ§Ï°Î¢µ÷£º×îºó£¬Í¨¹ýÕ½ÂÔÌݶÈËã·¨£¨ÀýÈç PPO£©ÓÅ»¯Ö÷ÓïÑÔÄ£×Ó£¬ÒÔ×î´ó»¯½±ÀøÄ£×ÓµÄÊä³ö ¡£Í¨¹ýµü´ú´ËÑ­»·£¬LLM ¿ÉѧϰÔÚ׼ȷÐÔ¡¢ÓÐÓÃÐÔºÍÆø¸ÅÁ¬¹áÐÔµÈÒªº¦Î¬¶ÈÉÏÌìÉúÈËÀà¸üÆ«ºÃµÄÏìÓ¦ ¡£

4¡¢½±Àø½¨Ä£ºÍ¶ÔÆë£º¿ª·¢ÖØ´óµÄ½±Àøº¯Êý£¨½è¼øÈËÀàÆ«ºÃ¡¢¶Ô¿¹ÐÔ·´Ïì»ò×Ô¶¯»¯Ö¸±ê£©ÒÔÖ¸µ¼Ä£×Ó»ñµÃÁ¬¹á¡¢Çå¾²ÇÒÊÊÅäÉÏÏÂÎĵÄÊä³ö ¡£ÎªÁËÔÚ¶à²½ÍÆÀíÀú³ÌÖÐÓÐÓ÷ÖÅÉ credit£¬ÕâЩ½±ÀøÖÁ¹ØÖ÷Òª ¡£

ÔÚÔçÆÚ£¬½« LLM ÓëÈËÀàÆ«ºÃ¶ÔÆëµÄÇ¿»¯Ñ§Ï°Ëã·¨ÊǾ­µäËã·¨£¬ÀýÈç PPO ºÍÐÅÍÐÓòÕ½ÂÔÓÅ»¯£¨TRPO£©£¬ÕâЩËã·¨ÓÅ»¯Õ½ÂԵķ½·¨ÊÇ×î´ó»¯Ô¤ÆÚÀÛ»ý½±Àø£¬Í¬Ê±Í¨¹ýÖÇÄÜÌåÄ¿µÄº¯ÊýºÍ KL É¢¶ÈÕýÔò»¯¶ÔÕ½ÂÔ¸üÐÂÊ©¼ÓÔ¼Êø ¡£

Õë¶Ô¿ÉÀ©Õ¹µÄ»ùÓÚÆ«ºÃµÄÓÅ»¯£¬ÒѾ­·ºÆðÁËÕâЩҪÁìµÄˢаæÌæ»»¼Æ»®£¬ÀýÈçÖ±½ÓÆ«ºÃÓÅ»¯£¨DPO£©ºÍ×éÏà¶ÔÕ½ÂÔÓÅ»¯£¨GRPO£© ¡£ÕâЩҪÁìÊǽ«¶ÔÆëÄ¿µÄÖØÐ±íÊöΪ»ùÓÚÈËÀà±ê×¢µÄÆ«ºÃÊý¾ÝµÄÅÅÃûʽ±ÈÕÕËðʧº¯Êý ¡£

²î±ðÓÚÒÀÀµÏÔʽ½±ÀøÄ£×ÓºÍÆÀ¼ÛÍøÂçµÄ PPO ºÍ TRPO£¬DPO ºÍ GRPO »®·ÖʹÓöÔÊýËÆÈ»±ÈºÍ×é½±Àø½ÏÁ¿À´Ö±½ÓÓÅ»¯Õ½ÂÔ£¬´Ó¶øÎÞÐèÏÔʽ¼ÛÖµº¯Êý½üËÆ£¬Í¬Ê±»¹Äܱ£´æÆ«ºÃÒ»ÖµÄѧϰ¶¯Ì¬ ¡£

ÕâÒ»½ÚÉæ¼°µÄÏêϸÄÚÈÝÈçÏ£º

½±Àø½¨Ä£

Õ½ÂÔÓÅ»¯

ͼ 3 ¸ø³öÁË PPO¡¢GRPO ºÍ DPO µÄ½ÏÁ¿ ¡£

»ùÓÚ´¿Ç¿»¯Ñ§Ï°µÄ LLM ΢µ÷

ͼ 4 µÄά¶÷ͼ˵Ã÷ÎúÔÚʵÏÖ¸ßЧµÄ΢Эµ÷°²ÅÅʱ£¬ÏµÍ³¡¢Êý¾ÝºÍÄ£×ÓÖ®¼äµÄÏ໥×÷Óà ¡£Ëüº­¸ÇÁËÓÃÒÔÌáÉýÐÔÄܺͿÉÀ©Õ¹ÐԵļÓËÙÆ÷£¨Groq¡¢vLLM£©¡¢Ë³Ó¦Æ÷£¨LoRA¡¢PEFT£©¡¢ÅäºÏÓÅ»¯¼Ü¹¹£¨FlashAttention£©¡¢Êý¾ÝѹËõ£¨TokenMerging£©¡¢Scaling Law£¨Chinchilla£©ºÍÄ£×ÓѹËõ£¨GPTQ£©µÈÕ½ÂÔ ¡£

LLM ÖеļàÊÓ΢µ÷

Èçͼ 2 Ëùʾ£¬Î¢µ÷ÊÇ LLM ºóѵÁ·Åä·½µÄ»ù±¾×é³É²¿·Ö ¡£ÕâÒ»½Ú×ܽáÁ˲î±ðÀàÐ굀 LLM ΢µ÷»úÖÆ£¬Ïêϸ°üÀ¨£º

ϱí¹éÄÉ×ÛºÏÐÔµØ×ܽáÁËÏÖ´úµÄ LLM ¿ò¼ÜºÍÒªÁì ¡£

²âÊÔʱÀ©Õ¹ÒªÁì

Ç¿»¯Ñ§Ï°Î¢µ÷µÄÊÇÄ£×ÓµÄÕ½ÂÔ£¬¶ø²âÊÔʱÀ©Õ¹£¨TTS£©Í¨³£ÊÇÔÚÍÆÀíÀú³ÌÖÐÔöǿģ×ÓµÄÄÜÁ¦£¬Õâ¸öÀú³ÌÎÞÐè¸üÐÂÄ£×Ó ¡£Í¼ 5 ¸ø³öÁË TTS ÒªÁìµÄ·ÖÀàÇéÐÎ ¡ª¡ª »ùÓÚÆäµ×²ãÊÖÒÕ¾ÙÐÐÁË·ÖÀà ¡£

ÏêϸÀ´Ëµ£¬°üÀ¨ÒÔÏÂÊÖÒÕ£º

ͼ 6 Ôò½ÏÁ¿ÁË LLM µÄÍÆÀíÕ½ÂÔ£¬´ÓÖ±½ÓÌáÐÑ·¨£¨²»Ê¹ÓÃÍÆÀíµØ½«ÊäÈëÓ³Éäµ½Êä³ö£©µ½¸ü½á¹¹»¯µÄÒªÁì ¡£

Í·ÄÔÁ´£¨CoT£©ÒýÈëÁËÖð²½ÍÆÀí£¬¶ø×ÔÎÒÒ»ÖÂÐÔ£¨CoT-SC£©ÔòÊÇÌìÉú¶à¸ö CoT ·¾¶²¢Ñ¡Ôñ×î³£·ºÆðµÄÃÕµ× ¡£Mutiple CoT »á×ÔÁ¦Ì½Ë÷²î±ðµÄÍÆÀí·¾¶ ¡£Í·ÄÔÊ÷£¨ToT£©ÔòÊǽ«ÍÆÀí½á¹¹ÎªÊ÷£¬´Ó¶øÊµÏÖ»ØËݺÍϸ»¯£¬¶øÍ·ÄÔͼÆ×£¨GoT£©ÔòÊÇͨ¹ý¶ÔÍ·ÄÔ¾ÙÐж¯Ì¬¾ÛºÏºÍÅþÁ¬À´ÊµÏÖÕâÒ»µã ¡£

LLM ºóѵÁ·ÆÀ¹À»ù×¼

ΪÁËÆÀ¹À LLM ºóѵÁ·½×¶ÎµÄÌåÏÖ£¬ÈËÃÇÒѾ­Ìá³öÁËÐí¶àÉæ¼°¶à¸öÁìÓòµÄ»ù×¼£º

½á¹¹ÓÅÒìµÄÆÀ¹À¿ò¼Ü¿ÉÈ·±£ÖÜÈ«Ïàʶ LLM ÔÚÖÖÖÖʹÃüÖеÄÓÅÊÆºÍ¾ÖÏÞÐÔ ¡£

ÕâЩ»ù×¼ÔÚ LLM ºó´¦Öóͷ£½×¶ÎÆð×ÅÖÁ¹ØÖ÷ÒªµÄ×÷Óã¬Ä£×ÓÔڴ˽׶ξ­ÓÉ΢µ÷¡¢Ð£×¼¡¢¶ÔÆëºÍÓÅ»¯£¬¿ÉÒÔÌá¸ßÏìӦ׼ȷÐÔ¡¢ÎȽ¡ÐÔºÍÆ·µÂºÏ¹æÐÔ ¡£±¾½Ú·Ö×é½éÉÜÁËÖ÷Á÷µÄ»ù×¼ ¡£±í 3 ¸ÅÊöÁËÕâЩ»ù×¼·Ö×éϵÄÒªº¦Êý¾Ý¼¯ ¡£

δÀ´Æ«Ïò

×îºó£¬×÷ÕßÍŶӻ¹ÍøÂçÁËÓë LLM ºóѵÁ·ÒªÁìÏà¹ØµÄÂÛÎIJ¢ÆÊÎöÁËËüÃǵÄÇ÷ÊÆ£¬Èçͼ 7 Ëùʾ ¡£

¿ÉÒÔ¿´µ½£¬×Ô 2020 ÄêÒÔÀ´£¬Ç¿»¯Ñ§Ï°ÔÚÓÅ»¯ LLM ·½ÃæµÄְλÓÐÁËÏÔÖøÌáÉý£¨Í¼ 7a£©£¬ÆäÖл¹Í»³öÁ˶Խ»»¥Ê½ÒªÁìµÄÐèÇó£¬ÀýÈçÈË»ú½»»¥Ç¿»¯ºÍ¿ÉÀ©Õ¹ÐÔ ¡£

Óë´Ëͬʱ£¬ÓÉÓÚ×ÔÎÒ½±ÀøÓïÑÔÄ£×ӵķºÆð£¬ÈËÃǶԽ±Àø½¨Ä££¨Í¼ 7b£©µÄÐËȤҲÔÚÎȲ½ÉÏÉý£¬µ«¸ÃÁìÓòÈÔÔÚÆð¾¢Ó¦¶Ô½±Àø hacking ÎÊÌ⣬ÒÔ¼°Éè¼Æ½â¾ö½±Àø hacking µÄÎȽ¡ÐÍ¡¢¿É¸ÐÖªÎÊÌâµÄ½±Àøº¯Êý ¡£

½âÂëºÍËÑË÷£¨Í¼ 7c£©ÒªÁì°üÀ¨Í·ÄÔºÍÃÉÌØ¿¨ÂåÕ½ÂÔ£¬ÆäÄ¿µÄÊÇͨ¹ýµü´ú×ÔÎÒÆ·ÆÀÀ´Ôöǿģ×ÓÍÆÀíÄÜÁ¦£¬µ«ÕâЩÊÖÒÕÒ²ÐèÒª¿É¿¿µÄ²»È·¶¨ÐÔÔ¤¼ÆÆ÷£¬ÒÔ±ÜÃâÅÌË㿪Ïú¹ý¸ß ¡£

Çå¾²ÐÔ¡¢ÎȽ¡ÐԺͿÉÚ¹ÊÍÐÔͬÑùÒѳÉΪ½¹µã¹Ø×¢µã£¨Í¼ 7d£©£¬Õâ¸öÆ«ÏòµÄÑо¿ÕßÍÆ¶¯ÁË˽¼û¸ÐÖªÐͺͲ»È·¶¨ÐÔ¸ÐÖªÐÍÇ¿»¯Ñ§Ï°ÒªÁìµÄÉú³¤£¬ÕâЩҪÁìÓâÔ½ÁËÓëÈËÀ಻ȷ¶¨ÐÔµÄÏà¹ØÐÔ£¬¿ÉÒÔά»¤Óû§ÐÅÍв¢±ÜÃâ¶Ô¿¹ÐÔ¹¥»÷ ¡£

¸öÐÔ»¯ºÍ˳ӦÐÔ£¨Í¼ 7e£©Ò²ÊÇÒªº¦ÁìÓò ¡ª¡ª ÔÚÎªÌØ¶¨ÁìÓò¶¨ÖÆ LLM ʱ£¬±ØÐèȨºâ˼Á¿Òþ˽Σº¦£¬ÌØÊâÊÇÉæ¼°ÆóÒµÊý¾Ý»òÃô¸ÐСÎÒ˽¼ÒÐÅϢʱ ¡£

Óë´Ëͬʱ£¬Àú³ÌÓëЧ¹û½±ÀøÓÅ»¯£¨Í¼ 7f£©ÈÔÈ»ÊÇÒ»¸öÐü¶øÎ´¾öµÄÎÊÌ⣺ËäÈ»»ùÓÚÀú³ÌµÄ½±ÀøÓÐÖúÓÚÖ¸µ¼½¥½øÊ½Ë¢Ð£¬µ«ÒÔЧ¹ûΪÖÐÐĵÄÖ¸±ê¸ü¼òÆÓ£¬µ«¿ÉÄÜÎÞ·¨²¶»ñÒªº¦µÄÖÐÐľöÒé°ì·¨ ¡£

³ýÁ˽±Àø½á¹¹Ö®Í⣬Õë¶ÔÐÂʹÃü΢µ÷ LLM ʱÈÔÈ»»áÓöµ½ÔÖÄÑÐÔÒÅÍüºÍDZÔÚµÄÊý¾Ýй¶µÈÎÊÌ⣬Õâ¾Í͹ÏÔÁ˶ԲÎÊý¸ßЧÐÍÒªÁìºÍÒþ˽± £»¤Õ½ÂÔ£¨Èç²î·ÖÒþ˽ºÍÁª°îѧϰ£©µÄÐèÇó ¡£

È˹¤·´ÏìËäÈ»ÊÇ¶ÔÆëµÄ½¹µã£¬µ«Æä±¾Ç®¸ß°ºÇÒ¹æÄ£ÓÐÏÞ £»Constitutional AI ºÍ RLAIF µÈÒªÁìÏ£ÍûʵÏÖ²¿·Ö¼àÊÓµÄ×Ô¶¯»¯£¬Ö»¹ÜËüÃÇÒ²Òý·¢ÁËÈËÃǶÔÎó²îУ׼ºÍÄ£×Ó×ÔÇ¢ÐÔµÄе£ÐÄ ¡£

×îºó£¬²âÊÔʱÀ©Õ¹ºÍ¶¯Ì¬ÍÆÀí¿ò¼ÜÒ²´øÀ´Á˽øÒ»²½µÄÌôÕ½£ºÄ£×Ó±ØÐèѧϰºÎÊ±ÎªÖØ´óÅÌÎÊ·ÖÅɸü¶àÅÌË㣬ÔõÑùÓÐÓõص÷½âÑé֤ģ¿é£¬ÒÔ¼°ÔõÑùÔÚÃæÁÙ¶Ô¿¹ÐÔÊäÈëʱ¼á³ÖÎȽ¡µÄÐÔÄÜ ¡£ÕâЩÈںϵÄÑо¿Æ«Ïò£¨º­¸Ç½±Àø½¨Ä£¡¢½âÂëÕ½ÂÔ¡¢¿ÉÚ¹ÊÍÐÔ¡¢¸öÐÔ»¯ºÍÇ徲΢µ÷£©Í¹ÏÔÁËÇ¿»¯Ñ§Ï°ÔÚ LLM ÖÐ×÷ÓõĶàÑùÐÔ£¬²¢ÅäºÏËÜÔìÁË´ó¹æÄ£ÓïÑÔÄ£×Ó¿ª·¢µÄδÀ´¹ì¼£ ¡£

À­Ë¹Î¬¼Ó˹9888

ºóѵÁ·Ê±´úÔõÑùÑÓÐøScaling Law£¿ÕâÊÇÄã¸Ã¶ÁµÄLLMºóѵÁ·×ÛÊö
0