Ланцюжок спонукання думок від Google може покращити сучасні найкращі алгоритми

Google опублікував деталі проривної технології, яка значно покращує новітні передові алгоритми Google

Google оголосила про проривне дослідження в обробці природних мов під назвою Chain of Thought Prompting, яке піднімає стан мистецтва передових технологій, таких як PaLM і LaMDA, до того, що дослідники називають надзвичайного рівня.

Той факт, що ланцюг спонукання думок може покращити PaLM та LaMDA з такими значними темпами, є великою справою.

LaMDA і PaLM

У дослідженні проводилися експерименти з використанням двох мовних моделей, мовної моделі для діалогових додатків (LaMDA) і мовної моделі Pathways (PaLM).

LaMDA — це модель, орієнтована на розмову, і може використовувати пошукові та голосові помічники на основі діалогів та інші програми діалогу.

PaLM — це модель, яка відповідає тому, що Google називає архітектурою Pathways AI, де мовну модель навчають, щоб навчитися вирішувати проблеми.

Раніше моделі машинного навчання навчалися вирішувати одну задачу, і вони, по суті, були звільнені, щоб робити цю одну річ дуже добре. Але щоб зробити щось інше, Google довелося б навчити нову модель.

Архітектура Pathways AI – це спосіб створити модель, яка може вирішувати проблеми, яких вона раніше не бачив.

Як цитується в поясненнях Google PaLM :

«…ми хотіли б навчити одну модель, яка може не тільки виконувати багато окремих завдань, але й використовувати та комбінувати свої наявні навички, щоб швидше та ефективніше вивчати нові завдання».

Що це робить

У дослідницькій роботі перелічено три важливих прориву в ланцюжку міркування:

  1. Це дозволяє мовним моделям розбивати складні багатоетапні проблеми на послідовність кроків
  2. Ланцюжок мисленнєвого процесу дозволяє інженерам зазирнути в процес, і коли щось пішло не так, це дозволяє їм визначити, де пішло не так, і виправити це
  3. Може розв’язувати математичні текстові задачі, може досягати міркувань здорового глузду і, згідно з дослідницькою роботою, може (в принципі) розв’язувати будь-яку текстову задачу, яку може людина.

Багатоетапні завдання на міркування

У дослідженні наведено приклад багатоетапної задачі міркування, на якій тестуються мовні моделі:

«З: У їдальні було 23 яблука. Якщо вони використали 20 для приготування обіду і купили ще 6, скільки у них яблук?

В: Спочатку в кафетерії було 23 яблука. Вони використали 20, щоб приготувати обід. Отже, у них було 23 – 20 = 3. Вони купили ще 6 яблук, отже мають 3 + 6 = 9. Відповідь 9».

PaLM — це сучасна мовна модель, яка є частиною архітектури Pathways AI. Він настільки просунутий, що може пояснити, чому жарт смішний.

Проте, незважаючи на розвинуту PaLM, дослідники стверджують, що Chain of Thought Prompting значно покращує ці моделі, і саме це робить це нове дослідження таким гідним уваги.
Google пояснює це так:

«Ланцюжок міркувань дозволяє моделям розкладати складні проблеми на проміжні кроки, які вирішуються окремо.

Більше того, мовна природа ланцюга думки робить його застосовним до будь-якого завдання, яке людина може вирішити за допомогою мови».

Далі в дослідницькій роботі зазначається, що стандартні підказки насправді не покращуються, коли масштаб моделі збільшується.

Однак завдяки цьому новому підходу шкала має значний і помітний позитивний вплив на те, наскільки добре працює модель.

Результати

Ланцюг спонукання думок був перевірений як на LaMDA, так і на PaLM, використовуючи два набори даних математичних текстових задач.

  • GSM8K
  • MultiArith

Ці набори даних використовуються дослідниками як спосіб порівняння результатів щодо подібних проблем для різних мовних моделей.

Нижче наведено зображення графіків, що показують результати використання Chain of Thought Prompting на LaMDA.

Ланцюг спонукання думок і LaMDA

Результати масштабування LaMDA на наборі даних MultiArith показують, що це призвело до незначного покращення. Але результати LaMDA значно вищі при масштабуванні за допомогою Chain of Thought Prompting.

Результати набору даних GSM8K показують незначне покращення.

З мовною моделлю PaLM зовсім інша історія.

Ланцюг спонукання думок і PaLM

Як видно на графіку вище, виграш від масштабування PaLM за допомогою Chain of Thought Prompting є величезним, і він величезний для обох наборів даних (MultiArith і GSM8K).

Дослідники називають результати чудовими та новим рівнем техніки:

«У наборі даних GSM8K математичних текстових задач PaLM демонструє чудову продуктивність при масштабуванні до параметрів 540B.

…поєднання підказок ланцюга думок з моделлю PaLM параметра 540B призводить до нової найсучаснішої продуктивності на 58%, перевершуючи попередній рівень техніки на 55%, досягнутий шляхом точного налаштування GPT-3 175B на великому тренуванні встановити, а потім ранжувати потенційні рішення за допомогою спеціально навченого верифікатора.

Більше того, подальша робота над самоузгодженістю показує, що продуктивність ланцюга спонукань можна покращити, якщо взяти більшість голосів за широкий набір сформованих процесів міркування, що призводить до 74% точності на GSM8K».

Висновки

Висновок дослідницької роботи є однією з найважливіших частин, які необхідно перевірити, щоб зрозуміти, чи просувається дослідження до рівня техніки, чи є тупиковим чи потребує додаткових досліджень.

Розділ висновку дослідницької роботи Google має дуже позитивну ноту.

У ньому зазначається:

«Ми дослідили ланцюг спонукань як простий і широко застосовний метод для покращення міркування в мовних моделях.

Експерименти з арифметичними, символічними і розумними міркуваннями ми виявили, що ланцюг обробки думки — це виникла властивість масштабу моделі, яка дозволяє досить великим мовним моделям виконувати завдання міркування, які в іншому випадку мають плоскі масштабні криві.

Сподіваємося, що розширення кола міркувальних завдань, які можуть виконувати мовні моделі, надихне на подальшу роботу над мовними підходами до міркування».

Це означає, що ланцюжок спонукання думок може надати Google можливість значно покращити різні мовні моделі, що, у свою чергу, може призвести до значних покращень у тому, що Google може робити.

Переклад статті здійснило Маркетингове агенство “sti1ist” оригінал статті Searchenginejournal

Cлідкувати за sti1ist: