iambestfeed/phobert-base-v2-finetuneed-wiki-finetuned-vnexpress-data-similarity-lr2e-05-1-epochs-bs-48

SentenceTransformer based on iambestfeed/phobert-base-v2-finetuned-wiki-data-raw_data_wseg-lr2e-05-1-epochs-bs-48

This is a sentence-transformers model finetuned from iambestfeed/phobert-base-v2-finetuned-wiki-data-raw_data_wseg-lr2e-05-1-epochs-bs-48 on the vnexpress-data-similarity dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: iambestfeed/phobert-base-v2-finetuned-wiki-data-raw_data_wseg-lr2e-05-1-epochs-bs-48
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • vnexpress-data-similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("iambestfeed/phobert-base-v2-finetuneed-wiki-finetuned-vnexpress-data-similarity-lr2e-05-1-epochs-bs-48")
# Run inference
sentences = [
    'Sau 27 năm gia_nhập làng giải_trí , MC - diễn_viên Thanh_Mai hiện hoạt_động nghệ_thuật cầm_chừng , chủ_yếu tập_trung kinh_doanh . - Ngôi_sao',
    'Anh_Tuấn \n - Showbiz \n - Thời_trang \n - Làm_đẹp \n - Xem \n - Ăn_chơi \n - Lối_sống \n - Thể_thao \n - Thời_cuộc \n - Podcasts \n - Thương_trường \n - Trắc_nghiệm \n - Video \n - Ảnh \n - Reviews & Deals \n Sau 27 năm gia_nhập làng giải_trí , MC - diễn_viên Thanh_Mai hiện hoạt_động nghệ_thuật cầm_chừng , chủ_yếu tập_trung kinh_doanh . \n Anh_Tuấn',
    'Phòng Cảnh_sát hình_sự Công_an tỉnh Quảng_Nam cho biết Vũ_Viết Hải , trú thị_trấn Trà_My , huyện Bắc_Trà_My , bị bắt 7h sáng nay khi đang trốn ở phường Trường_Xuân , thành_phố Tam_Kỳ . \n Hải đang đối_mặt với cáo_buộc cướp tài_sản . \n Trước đó , tối 26 / 11 , Hải đi xe_máy mang biển số giả đến cây_xăng bán_lẻ Tiên_Cảnh ở xã Tiên_Cảnh , huyện Tiên_Phước , chờ khách vãn mới đi vào , đề_nghị đổ xăng cho xe_máy của mình . Khi chủ cây_xăng đang bơm xăng , nghi can rút liềm trong người , từ phía sau quàng tay dí vào cổ uy_hiếp . \n Thời_điểm này , cây_xăng có một nhân_viên ngồi phía trong kiểm_đếm tiền và ghi sổ_sách . Hải yêu_cầu chủ cây_xăng đưa hết tiền trong túi , tổng_cộng hơn 15 triệu đồng . \n Theo đại_tá Trần_Văn_Xuân , Trưởng_Phòng Cảnh_sát hình_sự Công_an tỉnh Quảng_Nam , Hải khai trốn ở nhiều nơi . Sáng 5 / 12 , Hải về thành_phố Tam_Kỳ , mượn xe_máy và giật túi_xách của một phụ_nữ trên đường Bạch_Đằng , bên trong có 100.000 đồng và một điện_thoại . \n Nghi_vụ cướp này và cướp tiền ở cây_xăng Tiên_Cảnh có liên_quan , Công_an thành_phố Tam_Kỳ lần theo dấu_vết đã phát_hiện ra Hải . \n Hải không nghề_nghiệp ổn_định , theo cha_mẹ từ huyện Chương Mỹ , Hà_Nội vào lập_nghiệp ở thị_trấn Trà_My , huyện Bắc_Trà_My theo diện kinh_tế mới .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

vnexpress-data-similarity

• Dataset: vnexpress-data-similarity at 9547fde
• Size: 349,711 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 29.65 tokens max: 70 tokens	min: 22 tokens mean: 205.8 tokens max: 256 tokens

• Samples:

  anchor	positive
  Tôi ở chung_cư , dịp cuối tuần hoặc ngày lễ là người hàng_xóm lại rủ bạn_bè đến nhậu , lôi loa kẹo kéo ra hành_lang hát , & quot ; tra_tấn & quot ; cả tầng trong nhiều giờ . - VnExpress	Họ vặn loa hết cỡ , hát từ trưa đến chiều . Căn_hộ tôi ở sát bên , dù đã đóng hết cửa nhưng các con tôi vẫn không ngủ được . Trước đó , trưởng tầng từng góp_ý với gia_đình này , tôi cũng báo bảo_vệ chung_cư lên nhắc_nhở , nhưng họ vẫn tái_diễn . Tôi không biết hành_vi này có bị xử_phạt vì gây ô_nhiễm tiếng ồn không ? Tôi nên làm gì để tình_trạng này được xử_lý dứt_điểm ? ( Ngọc_Dung )
  Việt_Nam nằm trong số năm nước có khối_lượng giao_dịch lớn nhất trên sàn Binance với số tiền 20 tỷ USD trong tháng 5 . - VnExpress	Theo thống_kê của WSJ , các nhà đầu_tư Việt_Nam giao_dịch khoảng 20 tỷ USD trên sàn tiền số lớn nhất thế_giới và hình_thức chiếm 90 % là Future ( hợp_đồng tương_lai ) . Con_số này đạt gần 5 % trong tổng khối_lượng giao_dịch toàn_cầu của Binance . Nước có lượng giao_dịch hàng tháng cao nhất là Trung_Quốc với 90 tỷ USD , tiếp_theo là Hàn_Quốc và Thổ_Nhĩ_Kỳ với 60 tỷ và 45 tỷ USD. Khu_vực còn lại trong top 5 là Quần_đảo Virgin của Anh với 18 tỷ USD. Số_liệu thống_kê gây bất_ngờ khi Trung_Quốc chiếm 20 % tổng khối_lượng giao_dịch toàn_cầu của Binance , trong khi chính_phủ nước này cấm tất_cả hoạt_động giao_dịch và đầu_tư tiền số từ 2021 . Bên cạnh đó , Binance cũng tuyên_bố không còn hoạt_động tại đây . Theo nguồn tin nội_bộ , hiện có 900.000 nhà đầu_tư Trung_Quốc hoạt_động trên Binance , còn tổng_số nhà đầu_tư tiền số nói_chung tại quốc_gia này là 5,6 triệu . Để lách luật , Binance điều hướng người dùng Trung_Quốc đến các trang_web có tên_miền thuộc quốc_gia này trước khi chuyển tới s...
  Màn giả gái của Jang_Dong_Yoon trong ' The_Tale of Nokdu ' lên top tìm_kiếm mạng xã_hội Hàn .	Drama_cổ trang The_Tale of Nokdu lên sóng 2 tập đầu_vào thứ hai - thứ ba vừa_qua . Phim của đài KBS có rating đứng đầu trong các phim cùng khung giờ . Theo chỉ_số từ Nielsen_Korea , hai tập đầu The_Tale of Nokdu có rating trung_bình lần_lượt là 6,5 % và 8,3 % , thời_điểm rating cao nhất lên 9,6 % . Đã lâu rồi đài KBS mới có phim đạt rating cao như_vậy . Tác_phẩm trước của đài này là I Wanna Hear Your Song chỉ có rating ở mức 3,6 - 4.0 % . The_Tale of Nokdu kể về Jeon Nok_Du ( do Jang_Dong_Yoon_thủ vai ) , một chàng trai lưu_lạc đến ngôi làng toàn góa phụ . Để sống được ở đây , Nok_Du phải giả gái và nhận Dong_Dong_Joo ( Kim So_Hyun ) làm con gái nuôi , hướng_dẫn cô các kỹ_năng để trở_thành một kỹ_nữ . Trong 2 tập đầu , Nok_Du đã tìm đến ngôi làng . Vì phải giả gái , anh_chàng tạo ra biết_bao tình_huống dở khóc dở cười . Nam diễn_viên Jang_Dong_Yoon nhận được lời khen qua cách thể_hiện sự bối_rối khi phải mặc trang_phục nữ_giới , đồng_thời diễn_vẻ điệu_đà , tinh_tế của phụ_nữ ở từng...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 48
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• save_safetensors: False
• fp16: True
• push_to_hub: True
• hub_model_id: iambestfeed/phobert-base-v2-finetuneed-wiki-finetuned-vnexpress-data-similarity-lr2e-05-1-epochs-bs-48
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 48
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: iambestfeed/phobert-base-v2-finetuneed-wiki-finetuned-vnexpress-data-similarity-lr2e-05-1-epochs-bs-48
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0027	10	0.2688
0.0055	20	0.245
0.0082	30	0.2227
0.0110	40	0.1718
0.0137	50	0.1239
0.0165	60	0.1569
0.0192	70	0.1095
0.0220	80	0.131
0.0247	90	0.1197
0.0275	100	0.1
0.0302	110	0.0696
0.0329	120	0.0886
0.0357	130	0.0933
0.0384	140	0.1103
0.0412	150	0.0679
0.0439	160	0.0691
0.0467	170	0.0778
0.0494	180	0.0695
0.0522	190	0.0771
0.0549	200	0.0593
0.0577	210	0.0594
0.0604	220	0.0511
0.0632	230	0.0492
0.0659	240	0.0535
0.0686	250	0.0813
0.0714	260	0.0593
0.0741	270	0.051
0.0769	280	0.0614
0.0796	290	0.0544
0.0824	300	0.0539
0.0851	310	0.0494
0.0879	320	0.056
0.0906	330	0.0676
0.0934	340	0.0371
0.0961	350	0.0541
0.0988	360	0.0817
0.1016	370	0.064
0.1043	380	0.0427
0.1071	390	0.0593
0.1098	400	0.0448
0.1126	410	0.0458
0.1153	420	0.0589
0.1181	430	0.0416
0.1208	440	0.0403
0.1236	450	0.0646
0.1263	460	0.0484
0.1290	470	0.0433
0.1318	480	0.044
0.1345	490	0.0541
0.1373	500	0.0352
0.1400	510	0.0478
0.1428	520	0.0445
0.1455	530	0.0537
0.1483	540	0.0454
0.1510	550	0.0409
0.1538	560	0.0465
0.1565	570	0.0523
0.1593	580	0.04
0.1620	590	0.0324
0.1647	600	0.037
0.1675	610	0.0405
0.1702	620	0.0371
0.1730	630	0.0359
0.1757	640	0.0491
0.1785	650	0.0362
0.1812	660	0.0358
0.1840	670	0.0308
0.1867	680	0.0313
0.1895	690	0.0434
0.1922	700	0.0341
0.1949	710	0.0369
0.1977	720	0.0603
0.2004	730	0.0346
0.2032	740	0.0415
0.2059	750	0.0446
0.2087	760	0.0535
0.2114	770	0.0365
0.2142	780	0.0427
0.2169	790	0.0391
0.2197	800	0.0416
0.2224	810	0.0369
0.2252	820	0.0241
0.2279	830	0.0395
0.2306	840	0.0246
0.2334	850	0.0416
0.2361	860	0.0295
0.2389	870	0.0302
0.2416	880	0.0277
0.2444	890	0.0381
0.2471	900	0.0423
0.2499	910	0.04
0.2526	920	0.0559
0.2554	930	0.0442
0.2581	940	0.0326
0.2608	950	0.0314
0.2636	960	0.0397
0.2663	970	0.0379
0.2691	980	0.0269
0.2718	990	0.0343
0.2746	1000	0.0359
0.2773	1010	0.0374
0.2801	1020	0.0309
0.2828	1030	0.0482
0.2856	1040	0.0264
0.2883	1050	0.037
0.2910	1060	0.0438
0.2938	1070	0.0205
0.2965	1080	0.0331
0.2993	1090	0.0245
0.3020	1100	0.0375
0.3048	1110	0.0378
0.3075	1120	0.036
0.3103	1130	0.0574
0.3130	1140	0.031
0.3158	1150	0.0369
0.3185	1160	0.0282
0.3213	1170	0.0251
0.3240	1180	0.0521
0.3267	1190	0.0337
0.3295	1200	0.0507
0.3322	1210	0.0301
0.3350	1220	0.0374
0.3377	1230	0.0392
0.3405	1240	0.0507
0.3432	1250	0.0615
0.3460	1260	0.0432
0.3487	1270	0.0282
0.3515	1280	0.0372
0.3542	1290	0.0289
0.3569	1300	0.0342
0.3597	1310	0.0444
0.3624	1320	0.0355
0.3652	1330	0.0172
0.3679	1340	0.0345
0.3707	1350	0.0504
0.3734	1360	0.0346
0.3762	1370	0.0359
0.3789	1380	0.0455
0.3817	1390	0.0282
0.3844	1400	0.0434
0.3871	1410	0.0485
0.3899	1420	0.0478
0.3926	1430	0.0227
0.3954	1440	0.0332
0.3981	1450	0.0322
0.4009	1460	0.0215
0.4036	1470	0.0295
0.4064	1480	0.0344
0.4091	1490	0.036
0.4119	1500	0.0199
0.4146	1510	0.036
0.4174	1520	0.0289
0.4201	1530	0.0314
0.4228	1540	0.0293
0.4256	1550	0.0352
0.4283	1560	0.0275
0.4311	1570	0.0282
0.4338	1580	0.0318
0.4366	1590	0.0299
0.4393	1600	0.0379
0.4421	1610	0.0267
0.4448	1620	0.0382
0.4476	1630	0.0311
0.4503	1640	0.0337
0.4530	1650	0.0402
0.4558	1660	0.0368
0.4585	1670	0.0477
0.4613	1680	0.0441
0.4640	1690	0.0288
0.4668	1700	0.0303
0.4695	1710	0.0318
0.4723	1720	0.0307
0.4750	1730	0.0324
0.4778	1740	0.0299
0.4805	1750	0.0448
0.4833	1760	0.0398
0.4860	1770	0.0292
0.4887	1780	0.0351
0.4915	1790	0.028
0.4942	1800	0.0308
0.4970	1810	0.0242
0.4997	1820	0.0487
0.5025	1830	0.0346
0.5052	1840	0.0331
0.5080	1850	0.0232
0.5107	1860	0.041
0.5135	1870	0.0429
0.5162	1880	0.0447
0.5189	1890	0.0308
0.5217	1900	0.0349
0.5244	1910	0.0303
0.5272	1920	0.0396
0.5299	1930	0.0309
0.5327	1940	0.0379
0.5354	1950	0.0228
0.5382	1960	0.0337
0.5409	1970	0.0409
0.5437	1980	0.0228
0.5464	1990	0.0413
0.5491	2000	0.0429
0.5519	2010	0.0295
0.5546	2020	0.0213
0.5574	2030	0.0425
0.5601	2040	0.0291
0.5629	2050	0.0331
0.5656	2060	0.0339
0.5684	2070	0.0214
0.5711	2080	0.0313
0.5739	2090	0.0461
0.5766	2100	0.0215
0.5794	2110	0.0231
0.5821	2120	0.0175
0.5848	2130	0.0217
0.5876	2140	0.0407
0.5903	2150	0.0325
0.5931	2160	0.0338
0.5958	2170	0.0207
0.5986	2180	0.0241
0.6013	2190	0.0275
0.6041	2200	0.0226
0.6068	2210	0.0258
0.6096	2220	0.0258
0.6123	2230	0.0238
0.6150	2240	0.0213
0.6178	2250	0.0356
0.6205	2260	0.0416
0.6233	2270	0.0355
0.6260	2280	0.024
0.6288	2290	0.0342
0.6315	2300	0.0342
0.6343	2310	0.0293
0.6370	2320	0.0306
0.6398	2330	0.0334
0.6425	2340	0.0256
0.6452	2350	0.0371
0.6480	2360	0.0504
0.6507	2370	0.0236
0.6535	2380	0.0305
0.6562	2390	0.0266
0.6590	2400	0.0339
0.6617	2410	0.0321
0.6645	2420	0.0194
0.6672	2430	0.0221
0.6700	2440	0.0215
0.6727	2450	0.0301
0.6755	2460	0.0338
0.6782	2470	0.0241
0.6809	2480	0.0166
0.6837	2490	0.0333
0.6864	2500	0.026
0.6892	2510	0.0385
0.6919	2520	0.0303
0.6947	2530	0.0283
0.6974	2540	0.0279
0.7002	2550	0.0302
0.7029	2560	0.0302
0.7057	2570	0.0387
0.7084	2580	0.0328
0.7111	2590	0.0241
0.7139	2600	0.0238
0.7166	2610	0.0296
0.7194	2620	0.0297
0.7221	2630	0.0234
0.7249	2640	0.0278
0.7276	2650	0.0298
0.7304	2660	0.0271
0.7331	2670	0.0383
0.7359	2680	0.0312
0.7386	2690	0.0247
0.7414	2700	0.0224
0.7441	2710	0.036
0.7468	2720	0.0252
0.7496	2730	0.0545
0.7523	2740	0.0269
0.7551	2750	0.0269
0.7578	2760	0.0249
0.7606	2770	0.0261
0.7633	2780	0.0173
0.7661	2790	0.0215
0.7688	2800	0.0243
0.7716	2810	0.0307
0.7743	2820	0.0456
0.7770	2830	0.022
0.7798	2840	0.033
0.7825	2850	0.0204
0.7853	2860	0.0248
0.7880	2870	0.0233
0.7908	2880	0.026
0.7935	2890	0.0271
0.7963	2900	0.0259
0.7990	2910	0.0212
0.8018	2920	0.0179
0.8045	2930	0.0258
0.8072	2940	0.031
0.8100	2950	0.0209
0.8127	2960	0.029
0.8155	2970	0.0269
0.8182	2980	0.0193
0.8210	2990	0.0342
0.8237	3000	0.0417
0.8265	3010	0.0358
0.8292	3020	0.0356
0.8320	3030	0.0293
0.8347	3040	0.0357
0.8375	3050	0.026
0.8402	3060	0.0243
0.8429	3070	0.0391
0.8457	3080	0.0228
0.8484	3090	0.0188
0.8512	3100	0.0256
0.8539	3110	0.0385
0.8567	3120	0.0163
0.8594	3130	0.0297
0.8622	3140	0.0304
0.8649	3150	0.0319
0.8677	3160	0.0343
0.8704	3170	0.0485
0.8731	3180	0.041
0.8759	3190	0.0263
0.8786	3200	0.03
0.8814	3210	0.0259
0.8841	3220	0.0212
0.8869	3230	0.0265
0.8896	3240	0.0158
0.8924	3250	0.0225
0.8951	3260	0.0372
0.8979	3270	0.0137
0.9006	3280	0.039
0.9033	3290	0.0187
0.9061	3300	0.0393
0.9088	3310	0.0218
0.9116	3320	0.0253
0.9143	3330	0.0291
0.9171	3340	0.0361
0.9198	3350	0.0237
0.9226	3360	0.0268
0.9253	3370	0.018
0.9281	3380	0.0208
0.9308	3390	0.0207
0.9336	3400	0.0236
0.9363	3410	0.0252
0.9390	3420	0.025
0.9418	3430	0.0193
0.9445	3440	0.0246
0.9473	3450	0.028
0.9500	3460	0.037
0.9528	3470	0.032
0.9555	3480	0.0365
0.9583	3490	0.0189
0.9610	3500	0.0214
0.9638	3510	0.0226
0.9665	3520	0.0281
0.9692	3530	0.0234
0.9720	3540	0.0266
0.9747	3550	0.019
0.9775	3560	0.0232
0.9802	3570	0.0383
0.9830	3580	0.0216
0.9857	3590	0.0221
0.9885	3600	0.045
0.9912	3610	0.0189
0.9940	3620	0.02
0.9967	3630	0.0208
0.9995	3640	0.0164

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}