Блог пользователя TLE

Автор TLE, история, 6 месяцев назад, По-английски

Hello Codeforces,

It has been a long while, but in this project we close the long-standing open problem proposed by Umnik 2021. You can try it here (deployed on my tiny server, be nice!) while supplies last. Currently I only imported problems from Codeforces & BZOJ (the dead Chinese OJ) but adding other OJs should be easy as long as we have the statements crawled (PRs?).

demo

Cheers!

  • Проголосовать: нравится
  • +1200
  • Проголосовать: не нравится

»
6 месяцев назад, # |
  Проголосовать: нравится +3 Проголосовать: не нравится

Nice Initiative

»
6 месяцев назад, # |
  Проголосовать: нравится -11 Проголосовать: не нравится

Nice idea, may be abused during live contests though.

»
6 месяцев назад, # |
  Проголосовать: нравится +13 Проголосовать: не нравится

I don't understanding anything. But it looks like something useful so I upvote for you.

»
6 месяцев назад, # |
  Проголосовать: нравится 0 Проголосовать: не нравится

Nice job!

»
6 месяцев назад, # |
  Проголосовать: нравится -17 Проголосовать: не нравится

Wow I Was searching for SOS DP problems, and i was looking for something like This. Thank You.

»
6 месяцев назад, # |
Rev. 2   Проголосовать: нравится 0 Проголосовать: не нравится

out of curiosity: how bad would the search results be if we don't use chatgpt to simplify the problem.

»
6 месяцев назад, # |
  Проголосовать: нравится -29 Проголосовать: не нравится

Truly amazing work. You should write a paper about it or sth.

I'm slightly worried about consequences for competitive programming... you should probably block usage during contests as an anti-cheating measure. Otherwise you'll lose your credits pretty quickly :)

»
6 месяцев назад, # |
  Проголосовать: нравится +133 Проголосовать: не нравится

In regards to cheating concerns, this may actually reduce cheating incidents by making it easier for authors to find repeated problems.

»
6 месяцев назад, # |
  Проголосовать: нравится +37 Проголосовать: не нравится

this is neat, but then won't the training data annotators know your next problem when you plug it into openai?

  • »
    »
    6 месяцев назад, # ^ |
    Rev. 2   Проголосовать: нравится +41 Проголосовать: не нравится

    I'm using their paid API (same function as chatgpt but not free..), so in theory they should not be used for training :|

    • »
      »
      »
      6 месяцев назад, # ^ |
      Rev. 2   Проголосовать: нравится +5 Проголосовать: не нравится

      I guess even then someone working at openai who really really wants to cheat on a contest could do it, but that's probably not going to occur. How well does it work? I tried plugging in this year's FHC 3B which seems very similar to 1870E but the ones it gives don't seem very closely related to it.

    • »
      »
      »
      6 месяцев назад, # ^ |
      Rev. 2   Проголосовать: нравится +7 Проголосовать: не нравится

      However, I plugged CF1793F into it but it showed nothing that is even close to CF765F. What can possibly be the issue here? ig it's because of the problem background, but how to deal with that?

      Update: also, with this year's CSP-S problem 2, i plugged it in but still, it isnt showing CF1223F. Even after it's paraphrased to "Given an array of integers, we want to count the number of non-empty continuous subarrays that can be reduced to an empty array by repeatedly removing adjacent identical elements.", CF1223F shows nowhere on that list.

      • »
        »
        »
        »
        6 месяцев назад, # ^ |
          Проголосовать: нравится +21 Проголосовать: не нравится

        Yeah, the system is still imperfect — we should probably experiment a better prompt to remove the backgrounds (you can find the current prompts here).

        For your second example, it seems doable with a bit of luck... img

        • »
          »
          »
          »
          »
          6 месяцев назад, # ^ |
            Проголосовать: нравится 0 Проголосовать: не нравится

          Yeah, automatically removing the background and actually "formalizing" the statement will be a great feature, and will help a lot ig:)

»
6 месяцев назад, # |
  Проголосовать: нравится +19 Проголосовать: не нравится

Amazing work!

»
6 месяцев назад, # |
  Проголосовать: нравится 0 Проголосовать: не нравится

Amazing work!

»
6 месяцев назад, # |
  Проголосовать: нравится +15 Проголосовать: не нравится

Honestly, that is impressive. I wonder if the same thing could be done but with the editorials (so that people can find applications of different ideas and algorithms).

»
6 месяцев назад, # |
  Проголосовать: нравится 0 Проголосовать: не нравится

Is the link still live? not working for me

»
6 месяцев назад, # |
  Проголосовать: нравится +12 Проголосовать: не нравится

Wow what a wonderful work. Ask Um_nik for 1000 dollars.

»
6 месяцев назад, # |
  Проголосовать: нравится 0 Проголосовать: не нравится

Lol, this could be used in today's contest to figure out the solution for D.

»
4 месяца назад, # |
  Проголосовать: нравится +14 Проголосовать: не нравится

I have implemented this project on Poe, so that the cost of calling ChatGPT will be borne by the platform (i.e. other subscribers).

(Disclaimer: I currently work for Quora / Poe).

Sample query — https://poe.com/huikang/1512928000278451

After reading the code, someone could try some of these

  • Using better LLMs to summarize (e.g. GPT-4)
  • Other retrieval indexes (predicted topics, keywords)
  • Use an LLM to rerank the retrieved problems
  • Instead of a decimal similarity value, provide a LLM-generated summary on whether the two problems are the same
  • Craft some evaluation benchmarks
»
4 месяца назад, # |
Rev. 3   Проголосовать: нравится +3 Проголосовать: не нравится

One idea: Use LLMs to read and write a summary for top solutions' source code of a problem and use the summary together with the problem statement for searching.