forked from hesabix/arc
129 lines
5.1 KiB
Markdown
Executable file
129 lines
5.1 KiB
Markdown
Executable file
# خلاصه تغییرات انجام شده برای رفع مشکلات چت AI
|
|
|
|
## ✅ مشکلات حل شده
|
|
|
|
### 1. Blocking Operations در Async Context ✅
|
|
|
|
**مشکل:** عملیات blocking در async endpoints باعث block شدن کل backend می‌شد
|
|
|
|
**راه حل:**
|
|
- اضافه کردن `ThreadPoolExecutor` برای اجرای عملیات blocking در thread pool
|
|
- تبدیل `chat_completion()` به async با استفاده از `run_in_executor()`
|
|
- تبدیل `handle_function_calls()` به `handle_function_calls_async()` برای اجرای async
|
|
- استفاده از async OpenAI client برای streaming
|
|
|
|
**فایل‌های تغییر یافته:**
|
|
- `hesabixAPI/app/services/ai/ai_service.py`
|
|
- اضافه شدن `_executor = ThreadPoolExecutor(...)`
|
|
- تبدیل `chat_completion()` به async
|
|
- اضافه شدن `handle_function_calls_async()` برای اجرای parallel function calls
|
|
- تبدیل `generate_chat_title()` به async
|
|
|
|
- `hesabixAPI/app/services/ai/ai_provider.py`
|
|
- اضافه شدن `async_client` برای OpenAI streaming
|
|
- بهبود `chat_completion_stream()` برای استفاده از async client
|
|
|
|
- `hesabixAPI/adapters/api/v1/ai/chat.py`
|
|
- استفاده از `await` برای `chat_completion()`
|
|
- استفاده از `await` برای `generate_chat_title()`
|
|
|
|
### 2. افزایش Timeout در Frontend ✅
|
|
|
|
**مشکل:** Timeout کوتاه (20 ثانیه) باعث timeout شدن درخواست‌های AI می‌شد
|
|
|
|
**راه حل:**
|
|
- افزایش `receiveTimeout` از 20 ثانیه به 5 دقیقه در `ApiClientOptions`
|
|
- افزایش `connectTimeout` از 10 ثانیه به 30 ثانیه
|
|
- اضافه شدن timeout اختصاصی برای streaming requests (10 دقیقه)
|
|
|
|
**فایل‌های تغییر یافته:**
|
|
- `hesabixUI/hesabix_ui/lib/core/api_client.dart`
|
|
- افزایش `connectTimeout` به 30 ثانیه
|
|
- افزایش `receiveTimeout` به 5 دقیقه
|
|
|
|
- `hesabixUI/hesabix_ui/lib/services/ai_service.dart`
|
|
- اضافه شدن `receiveTimeout: Duration(minutes: 10)` برای streaming requests
|
|
|
|
### 3. بهبود Streaming ✅
|
|
|
|
**مشکل:** Streaming به درستی کار نمی‌کرد و timeout می‌شد
|
|
|
|
**راه حل:**
|
|
- استفاده از async OpenAI client برای streaming
|
|
- افزایش timeout در frontend برای streaming requests
|
|
- بهبود error handling در streaming
|
|
|
|
**فایل‌های تغییر یافته:**
|
|
- `hesabixAPI/app/services/ai/ai_provider.py`
|
|
- استفاده از `AsyncOpenAI` برای streaming
|
|
|
|
- `hesabixUI/hesabix_ui/lib/services/ai_service.dart`
|
|
- افزایش timeout برای streaming requests
|
|
|
|
### 4. بهینه‌سازی Function Calls ✅
|
|
|
|
**مشکل:** Function calls به صورت sequential اجرا می‌شدند و timeout ایجاد می‌کردند
|
|
|
|
**راه حل:**
|
|
- اجرای function calls به صورت parallel با استفاده از `asyncio.gather()`
|
|
- اجرای function calls در thread pool برای جلوگیری از blocking
|
|
|
|
**فایل‌های تغییر یافته:**
|
|
- `hesabixAPI/app/services/ai/ai_service.py`
|
|
- پیاده‌سازی `handle_function_calls_async()` با استفاده از `asyncio.gather()`
|
|
- اجرای هر function call در thread pool
|
|
|
|
## 🔧 تغییرات فنی
|
|
|
|
### Thread Pool Executor
|
|
```python
|
|
_executor = ThreadPoolExecutor(max_workers=10, thread_name_prefix="ai_service")
|
|
```
|
|
|
|
### Async Function Calls
|
|
```python
|
|
async def handle_function_calls_async(...):
|
|
tasks = [call_single_function(call) for call in function_calls]
|
|
results_list = await asyncio.gather(*tasks)
|
|
return {name: result for name, result in results_list}
|
|
```
|
|
|
|
### Async OpenAI Client
|
|
```python
|
|
self.async_client = openai.AsyncOpenAI(
|
|
api_key=api_key,
|
|
base_url=api_base_url or None
|
|
)
|
|
```
|
|
|
|
## 📊 نتایج
|
|
|
|
### قبل از تغییرات:
|
|
- ❌ Blocking operations باعث block شدن کل backend می‌شد
|
|
- ❌ Timeout در 20 ثانیه
|
|
- ❌ Function calls sequential و کند
|
|
- ❌ Streaming به درستی کار نمی‌کرد
|
|
|
|
### بعد از تغییرات:
|
|
- ✅ عملیات blocking در thread pool اجرا می‌شوند
|
|
- ✅ Timeout به 5-10 دقیقه افزایش یافته
|
|
- ✅ Function calls به صورت parallel اجرا می‌شوند
|
|
- ✅ Streaming با async client بهتر کار می‌کند
|
|
|
|
## ⚠️ نکات مهم
|
|
|
|
1. **Thread Pool Executor:** برای جلوگیری از block شدن، عملیات blocking در thread pool اجرا می‌شوند. حداکثر 10 thread همزمان.
|
|
|
|
2. **Timeout:** Timeout برای AI requests به 5-10 دقیقه افزایش یافته که برای function calls کافی است.
|
|
|
|
3. **Async/Await:** تمام عملیات AI به async تبدیل شده‌اند تا blocking نباشند.
|
|
|
|
4. **Parallel Execution:** Function calls به صورت parallel اجرا می‌شوند که سرعت را افزایش می‌دهد.
|
|
|
|
## 🔄 مراحل بعدی (اختیاری)
|
|
|
|
1. اضافه کردن retry mechanism برای خطاهای موقت
|
|
2. اضافه کردن progress indicator برای function calls
|
|
3. بهبود error handling و logging
|
|
4. اضافه کردن monitoring و metrics
|
|
|