Tool Calling (Gọi Công Cụ) Trong Llama 3: Hướng Dẫn Từng Bước Để Xây Dựng Agent

Gần đây, Meta đã phát hành gia đình mô hình Llama 3 và 3.1, bao gồm các mô hình 8b, 70b và 405b tham số. Mô hình 3.1 hỗ trợ tool calling (gọi công cụ) một cách tự nhiên, biến nó thành một trong những mô hình ngôn ngữ lớn (LLM) mã nguồn mở tốt nhất cho tự động hóa agent.

Bài viết này sẽ thảo luận về tool calling trong LLM và cách sử dụng tính năng tool calling của Llama 3.1 trên Groq để xây dựng các AI agent có năng lực.

Trong bài viết này, chúng ta sẽ đề cập đến:

1. Cơ bản về tool calling.
2. Cách sử dụng Llama 3.1 trên Groq Cloud cho tool calling.
3. Cách sử dụng các công cụ Composio với LlamaIndex để xây dựng một agent nghiên cứu.

Nhưng trước đó, hãy cùng tìm hiểu tool calling thực sự là gì.

Lưu ý: Chúng ta sẽ sử dụng các thuật ngữ “tool calling” và “function calling” thay thế cho nhau, vì chúng có ít nhiều đề cập đến cùng một khái niệm.

Tool Calling Là Gì?

Công cụ (Tools) là các chức năng cho phép các mô hình ngôn ngữ lớn (LLM) tương tác với các ứng dụng bên ngoài. Chúng cung cấp một giao diện để LLM truy cập và truy xuất thông tin từ các nguồn bên ngoài.

Mặc dù có tên gọi như vậy, LLM không trực tiếp tự gọi các công cụ. Thay vào đó, khi chúng xác định rằng một yêu cầu cần đến một công cụ, chúng sẽ tạo ra một lược đồ (schema) có cấu trúc chỉ định công cụ thích hợp và các tham số cần thiết.

Ví dụ, giả sử một LLM có thể truy cập các công cụ duyệt web chấp nhận tham số văn bản. Vì vậy, khi người dùng yêu cầu nó lấy thông tin về một sự kiện gần đây, thay vì tạo văn bản, LLM sẽ tạo một lược đồ JSON của công cụ Internet, mà bạn có thể gọi hàm/công cụ đó.

Dưới đây là sơ đồ minh họa cách hoạt động của tool calling.

Groq Là Gì?

Groq là nhà cung cấp suy luận AI lưu trữ các mô hình mã nguồn mở như Mistral, Gemma, Whisper và Llama. Họ là nền tảng hàng đầu trong ngành cung cấp suy luận AI nhanh nhất, điều này làm cho nó trở thành lý tưởng để xây dựng các hệ thống agent có năng lực.

Bài viết này sẽ giới thiệu cách bạn có thể sử dụng Groq cloud để xây dựng các AI agent sử dụng các công cụ Composio.

Tạo Khóa API Groq

Bạn sẽ cần một khóa API để sử dụng các LLM được lưu trữ bởi Groq Cloud. Vì vậy, hãy truy cập Groq Cloud và tạo một khóa.