dictionary.filter_extremes(no_below=5, no_above=0.5)

# Создание биграмм
bigram_model = Phrases(data['cleaned_abstract'], min_count=5, threshold=10)
data['bigrams'] = data['cleaned_abstract'].apply(lambda tokens: bigram_model[tokens])

# Создание словаря и корпуса
dictionary = corpora.Dictionary(data['bigrams'])
corpus = [dictionary.doc2bow(text) for text in data['bigrams']]

# Вычисление TF-IDF
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]

limit=10, start=2, step=1

# Функция для вычисления когерентности perplexity и log_likelihood модели LDA

def compute_metrics(dictionary, corpus, texts, limit=10, start=2, step=1):
   coherence_values = []
   perplexity_values = []
   log_likelihood_values = []
   model_list = []
   num_topics_range = []
   for num_topics in range(start, limit, step):
       model = models.LdaModel(corpus, num_topics=num_topics, id2word=dictionary, passes=150)
       model_list.append(model)
       coherencemodel = CoherenceModel(model=model, texts=texts, dictionary=dictionary, coherence='c_v')
       coherence_values.append(coherencemodel.get_coherence())
       perplexity_values.append(-model.log_perplexity(corpus))
       log_likelihood_values.append(model.bound(corpus))
       num_topics_range.append(num_topics)
   return model_list, coherence_values, perplexity_values, log_likelihood_values, num_topics_range

# Параметры для подбора количества тем
start = 2
limit = 6  # максимальное количество тем, которое вы хотите проверить
step = 1
if limit < start:
   print("Ошибка: limit должно быть больше или равно start")
   exit()
if step <= 0:
   print("Ошибка: step должно быть больше 0")
   exit()

# Вычисление метрик для различных значений num_topics
model_list, coherence_values, perplexity_values, log_likelihood_values, num_topics_range = compute_metrics(dictionary, corpus_tfidf, data['bigrams'], limit, start, step)

# Создание таблицы с результатами 
metrics_df = pd.DataFrame({
   'Num Topics': num_topics_range,
   'Coherence': coherence_values,
   'Perplexity': perplexity_values,
   'Log Likelihood': log_likelihood_values
})
print(metrics_df)

# Отображение результатов
plt.figure(figsize=(12, 6))
plt.subplot(1, 3, 1)
plt.plot(num_topics_range, coherence_values)
plt.xlabel("Количество тем")
plt.ylabel("Coherence")
plt.legend(("Coherence"), loc='best')
plt.subplot(1, 3, 2)
plt.plot(num_topics_range, perplexity_values)
plt.xlabel("Количество тем")
plt.ylabel("Perplexity")
plt.legend(("Perplexity"), loc='best')
plt.subplot(1, 3, 3)
plt.plot(num_topics_range, log_likelihood_values)
plt.xlabel("Количество тем")
plt.ylabel("Log Likelihood")
plt.legend(("Log Likelihood"), loc='best')
plt.tight_layout()
plt.show()

# Вывод оптимальных количеств тем по всем метрикам
optimal_num_topics_coherence = num_topics_range[coherence_values.index(max(coherence_values))]
optimal_num_topics_perplexity = num_topics_range[perplexity_values.index(max(perplexity_values))]
optimal_num_topics_log_likelihood = num_topics_range[log_likelihood_values.index(max(log_likelihood_values))]
print(f'Оптимальное количество тем по когерентности: {optimal_num_topics_coherence}')
print(f'Оптимальное количество тем по perplexity: {optimal_num_topics_perplexity}')
print(f'Оптимальное количество тем по log likelihood: {optimal_num_topics_log_likelihood}')